…von der burc unz an die stat… (Schiedsbrief König Konrad IV. 1240)
Kurz vor 1188 zogen die Herren von Apfeltrang, Dienstmannen der mächtigen Ronsberger, auf ihre neue Burg in Keminatum. Der Burgname leitet sich ab vom lat. caminata, dem beheizbaren Gemach oder Gebäude. Mit dem Tode Volkmars von Kemnat, der 1246 in den Stand der Reichsministerialität aufstieg und ein enger Vertrauter von König Konrad IV. war, begann 1283 der Niedergang der Herren von Kemnat. Ihnen folgten um 1300 die Herren von Ramschwang und 1377 die Herren von Benzenau nach. 1551 erwarb das Stift Kempten die geschrumpfte Herrschaft und richtete auf der Burg einen Pflegamtssitz ein.
1804 erfolgte im Zuge der Säkularisation der Abbruch aller rückwärtigen Burggebäude einschließlich der Annakapelle, nur der Bergfried blieb verschont. 1838 erwarb der Historische Verein Schwaben den Turm und führte 1851 und 1884 Instandsetzungsarbeiten am Bergfried durch. Der Baubestand bestätigt, dass Bergfried und Ringmauer zeitgleich um 1185 entstanden. Die Betitelung »Römerturm« entstammt dem 19. Jahrhundert, als man irrigerweise alle Buckelquadertürme den Römern zuschrieb.