… mit einer starcken Mawer umgeben … (Matthäus Merian 1643)
Die ältesten Fundstücke von der Burghalde stammen aus der römischen Kaiserzeit. Unter dem Druck der eindringenden Alamannen ab 233 n. Chr. erfolgte die Befestigung als Kastell. Damals wurde die große Landstadt Cambodunum auf dem Lindenberg aufgegeben und es entstand am Fuß der Burghalde die neue Siedlung Cambidanum, die bis ins 5. Jh. n. Chr. besiedelt blieb. Zur Nutzung des Burghaldehügels gibt es erst ab dem Hochmittelalter wieder sichere Hinweise, als der Fürstabt – angeblich im Jahr 1223 – einen Turm auf seiner Burg erbauen ließ. Die Reste dieses großen Buckelquaderturms sind in der Westwand des Pavillons noch erhalten. Die Burg des Abtes stand auf der Nordseite des Hügels, der Stadt zugewandt, und war durch eine Quermauer vom Hügelplateau abgegrenzt.
1363 nahmen die Kemptener Bürger durch eine List die Burghalde gewaltsam ein. Dem Fürstabt und seinem Vogt gelang nur knapp die Flucht; die Burg wurde stark beschädigt. Obwohl der Abt den folgenden langen Rechtsstreit gewann, verkaufte er »um des lieben Friedens willen« 1379 den Burghügel an die Stadt. Diese nutzte fortan den Burgberg landwirtschaftlich und als Steinbruch. Erst 1488 bezog man die Burghalde in die Stadtbefestigung ein.
Im Spätmittelalter stand auf der Burghalde auch eine dem Hl. Wolfgang geweihte Kapelle. 1535 wurde der reichsstädtische Friedhof vom St. Mang-Platz auf die Geländestufe westlich des Burghügels verlegt. Im 30-jährigen Krieg besetzten abwechselnd die Schweden und die kaiserlichen Truppen die Burghalde. Im Spanischen Erbfolgekrieg wurde sie sie 1703 vom französischen Militär zu einer Festung ausgebaut und schon 1705 auf Befehl des Prinzen Eugen geschleift.
