… verpronnen Anno 1595 … (spätere Randnotiz im Nesselwanger Urbar von 1524)
170 m über Nesselwang steht die heute durch junge Wälder völlig verborgene, noch vor 60 Jahren weithin sichtbare Ruine der Nesselburg auf einem Sporn zwischen den Tobeln zweier Bergbäche. Die Nesselburg wurde Ende des 13. Jahrhunderts vom edelfreien Geschlecht der Rettenberger erbaut und 1302 anlässlich einer Verpfändung an das Hochstift Augsburg erstmals als Burch ze Nesselwanch erwähnt. Im Jahr 1350 ging sie an das Hochstift Augsburg, Mehrfache Instandsetzungen konnten nicht verhindern, dass sie kurz vor 1576 niederbrannte.
Die eindrucksvolle Burgruine zeigt eine sich vorzüglich der Geländebeschaffenheit anpassende, klare Konzeption, ein länglich-rechteckiges Gebäude, das zum ansteigenden Hang hin einen breiten Halsgraben und eine massive Schildmauer aufweist. Dahinter erstreckte sich ein kleiner Burghof, an dessen talseitigem Ende ein zweigeteilter Palas stand.