Der ehemalige Annenhof liegt im Zentrum Lemgos in der Nähe des Hauptbahnhofs im Kreis Lippe. Heute beherbergt der Annenhof die VHS Detmold-Lemgo.

Die Alte Abtei wurde etwa 1585 unter Heinrich Kerkmann als Adelshof erbaut, der Baumeister war wahrscheinlich Hermann Wulff. Im Jahr 1768 erwarb Graf Ludwig zur Lippe den Adelshof. Von da an trug er den Namen Annenhof nach der Ehefrau des Grafen zur Lippe Anna zu Hessen Philippsthal. Der Graf ließ den Annenhof bis 1769 umbauen. An der Rückseite wurde nach dem Erwerb weiterer Grundstücke ein weitläufiger Garten angelegt. In seinem Testament bestimmte Graf Ludwig zur Lippe das Gebäude 1797 zur Residenz der Äbtissinnen des Damenstifts St. Marien. Durch diese Entwicklung setzte sich der Name Alte Abtei in der Bevölkerung durch. Nach dem Tod der letzten Äbtissin Prinzessin Carola zur Lippe im Jahr 1958 ging der Besitz 1960 an die Stadt Lemgo. 1972 wurde der ehemalige Annenhof der Volkshochschule Detmold-Lemgo zur Verfügung gestellt.

Der heutige Bau präsentiert sich in einer Mischung aus Renaissance- und Rokoko-Stil. Es handelt sich um einen verputzten Bruchsteinbau mit hohem Sockelgeschoss in Traufstellung. Die Fassade wird durch regelmäßig gesetzte rechteckige Fenster gegliedert. Die Giebel sind im Stile der Renaissance ausgebildet. Die Freitreppe an der Breiten Straße, die 1960 erneuert werden musste und die Rocaille-Stuckaturen über dem Eingang entsprechen dem Stile des Rokokos. Diese Stuckaturen umrahmen das Wappen des Bauherren Graf Ludwig zur Lippe und seiner Frau Anna zu Hessen Philippsthal und sind von den Umbauten 1768/69 erhalten geblieben. Weitere Stuckaturen sind im Gartensaal, im Südzimmer sowie in der Bibliothek im Obergeschoss zu finden.

Im 19. Jahrhundert wurde an der Gartenseite eine zweite Freitreppe mit hohem Podest hinzugefügt. In den Jahren 1972 bis 1975 wurde das Gebäude restauriert und umgebaut, um der Nutzung als Haus für Erwachsenenbildung gerecht zu werden