Rotenvels diu burgh (Urkunde von 1354)
Burg Rothenfels besetzt einen nach drei Seiten steil abfallenden Geländesporn am westlichen Ende eines schmalen Höhenrückens über dem Alpsee. Sie bildete mit der zeitgleich in der 2. Hälfte des 13. Jahrhunderts errichteten, nur 170 m entfernten Burg Hugofels eine Doppelburg der Herren von Schellenberg. Von diesen erwarb das mächtige Grafengeschlecht von Montfort-Tettnang kurz vor 1332 die Burg, die mit dem Ankauf des Rothenfelser Hofes durch die Grafen von Montfort-Tettnang im Jahr 1332 erstmals indirekt erwähnt wird. 1354 endlich erscheint dann »Rotenvels diu burgh« auch direkt urkundlich.
Um 1440 kam Graf Hugo XIII. von Montfort in den alleinigen Besitz der Herrschaft, die ab diesem Zeitpunkt Montfort-Rothenfels genannt und 1471 zur Reichsgrafschaft erhoben wurde. Hugo baute beide Burgen aus, wobei er die obere Burg in Hugofels umbenannte.
Rothenfels brannte 1462 nach einem Blitzschlag nieder, wurde aber umgehend wieder instand gesetzt. Dieser Umbauphase gehörte eine aufwändig ausgestaltete, den hl. Drei Königen geweihte Burgkapelle an, deren Altar aus den Jahren um 1430 datiert. 1525 belagerten aufständische Bauern erfolglos die Burg, die im Jahr 1546 von schmalkaldischen Truppen besetzt werden konnte. 1567 erwarben die Grafen von Königsegg die Herrschaft, residierten aber vornehmlich in der Stadt. 1801 wurde das Gebäude zur Dachziegelgewinnung abgedeckt. 1804 ging Rothenfels an Kaiser Franz II. von Österreich, 1806 an Bayern. Zehn Jahre später erfolgte ein Großabbruch der Burgruine. Im Jahr 1875 erwarb die Stadt Immenstadt die Burgreste. Ungeklärt ist die Nennung einer weiteren Burg hier namens Brunnenfels.