Schloss Adolfsburg wurde von seinem Namensgeber, Johann Adolf von Fürstenberg (1631–1704) im Jahr 1677 errichtet. Wahrscheinlich beauftragte er den Baumeister Ambrosius von Oelde mit dem Bau des Schlosses. Es handelt sich bei Schloss Adolfsburg um ein barockes Wasserschloss, das für den Bauherrn hauptsächlich als Erholungs- und Alterssitz diente. Später nutzte die Familie von Fürstenberg die Adolfsburg ausschließlich als Jagdschloss.
Die Dreiflügelige Anlage orientiert sich mit dem erhöhten Haupthaus mit seinen quadratischen Ecktürmen nach Westen, während sich der von der Vorburg umschlossene Schlossplatz nach Westen öffnet. Der Eingang des Haupthauses zum Schlossplatz ist durch einen dritten Turm markiert. Weitere kleinere Türme akzentuieren den Abschluss der Anlage nach Osten hin.
1919 wurde das Schloss an die Missionare von der Heiligen Familie vermietet, die dort eine Missionsschule errichteten. Während des Zweiten Weltkrieges waren in der Adolfsburg dann Flüchtlinge untergebracht, so dass die Missionsschule erst 1946 ihren Betrieb wieder aufnehmen konnte. Nach dem Umzug des Ordens und der Schule im Jahre 1956 stand Schloss Adolfsburg über mehrere Jahrzehnte leer und war vom Verfall bedroht.
Mitte der 1980er Jahre wurde Schloss Adolfsburg von einem Investor restauriert. Am 7. März 1985 wurde die Adolfsburg als Baudenkmal in die Denkmalliste der Gemeinde Kirchhundem eingetragen.