… intra muros castri Werdenstein … (1469)
Die einst trutzige Burg war der Stammsitz der Herren von Werdenstein, die erstmals 1239 mit Hildebrand von Werdenstein in Erscheinung treten. »Hiltprand« bzw. Hildebrand blieb der Leitname dieser Familie, die spätestens ab 1350 das erbliche Ehrenamt des Kämmerers am Stift Kempten hielt.
Zu Anfang des 15. Jahrhunderts begab sie sich unter den Schutz des Hauses Habsburg, um sich gegen das mächtige Fürststift, insbesondere aber gegen die machthungrigen Grafen von Montfort behaupten zu können, mit denen sie in Fehde lag, und die 1457 ihre Burg Werdenstein belagert hatten.
1469 wurde eine innerhalb der Burgmauern stehende Kapelle St. Georg durch den Konstanzer Weihbischof Frater Thomas geweiht. 1491 begab sich Hildbrand von Werdenstein in die Dienste von König Maximilian I. Im Jahr 1525 wurde die Burg von den Bauern gestürmt und geplündert.
Als die Werdensteiner ihren Hauptsitz 1659 nach Dellmensingen bei Ulm verlagerten, unterhielten sie auf der Burg neben einem Amtssitz ein nur sporadisch genutztes Sommerdomizil. 1785 kamen Burg und Herrschaft durch Kauf an die Grafen von Königsegg-Rothenfels, die mutwillig den Verfall der Burg herbeiführten. 1898 erwarb die Familie Rapp die Burgruine und führte ab 1988 eine Sanierung der Burgmauern durch. Dabei erhielt der Torturm sein heutiges Pultdach.
