… ain vesti, die haisset Wolkenberg … (25. Juli 1404)
Den einst weithin sichtbaren Lageplatz der Burg »nahe den Wolken« auf einem unbewaldeten Hügel 829 m über Meereshöhe und ca. 100 Meter über dem Tal, soll ihr bildhafter Namen »Wolkenberg« umschreiben. Die Burg wird erstmals 1262 mit Albert von Wolkenberg indirekt erwähnt, der eine Urkunde des letzten Stauferherrschers Konradin V. bezeugte. Noch vor 1293 ging die Burg an die Herren der nahe Grönenbach gelegenen Burg Rotenstein. 1344 eroberten Kemptener Bürger die Burg, um dadurch der Straßenräuberei des Konrad Rotenstein ein Ende zu bereiten. Wohl in diesem Jahr kam die Burg an Ulrich von Diessen, dessen Stammschloss nahe Waal lag. 1398 erwarb das Stift Kempten die Burg samt ihren beiden Bauhöfen und der Mühle als künftigen Vogteisitz. Unter den Vögten tritt in gesellschaftlicher Hinsicht Markward von Schellenberg hervor, der 1473 für Herzog Sigmund von Österreich als Hochmeister und 1474/75 für Herzog Albrecht von Bayern als Marschall amtierte.
1525 wurde die Burg im Bauernkrieg zerstört, wobei ein Fischteich mit Hechten und Karpfen leergeräumt wurde, dann erneut im Dreißigjährigen Krieg (1618–48). Nachdem sie sich 1641 »übel im Abgang« befand, setzte man sie zwei Jahre später umfassend instand. 1674 nahm man nahe dem unteren Bauhof ein Brauhaus in Betrieb. Dessen ungeachtet wird die Burg 1758 als ruinös beschrieben. Ausstattungsteile der Burgkapelle aus der Zeit um 1520 befinden sich heute im Heimatmuseum Kempten und in der Kirche »Christi Himmelfahrt« in Freudenthal/Kempten.
