Die Geschichte der Schlossanlage lässt sich bis ins 13. Jahrhundert zurückverfolgen, damals als ein von Wassergräben umgebenes, befestigtes Haus. Um 1530 wurde die Anlage unter Georg von Boenen zu einem Schloss umgebaut. Um 1788 genügte das Herrenhaus aus dem 16. Jhd. nicht mehr den Ansprüchen der mittlerweile in den Grafenstand erhobenen Familie und wurde teilweise abgetragen.
Unter Baumeister Engelbert Kleinhanz entstand ein Neubau im klassizistischen Stil, zudem wurde der Südflügel als zusätzlicher Trakt hinzugefügt. Die drei Flügel des zweigeschossigen Schlosses umschließen den Ehrenhof. Schon 1700 war im Süden des Schlosses ein geometrischer Barockgarten nach französischem Vorbild angelegt worden, der während der Erweiterung des Schlosses 1788 nach Westen durch einen englischen Landschaftsgarten ergänzt wurde.
1924 erwarb die Stadt das Schloss und das umgebende Gelände und richtete dort eine Volkserholungsstätte ein. Hierbei wurde das Parkgelände auf etwa 72 Hektar vergrößert und im ursprünglichen Stil wiederhergestellt.
Auf der Südseite wurde das Schloss 2004 um einen Wintergarten in einer Stahl-Glas-Konstruktion erweitert, deren breiter Dachüberstand verhindert, dass die Gäste des ansässigen Gastronomiebetriebes von der Sonne geblendet werden.