Über der Stadt Schieder-Schwalenberg liegt auf einem Bergsporn die Höhenburg Schwalenberg. Sie wurde um 1228 von Graf Volkwin III. erbaut. Etwa zur selben Zeit entstand die darunter liegende Stadt.
Im 15. Jahrhundert wurde die Burg mehrfach verpfändet, bis sie an Gräfin Maria Magdalena zur Lippe ging. Diese ließ die zerstörte Burg zwischen 1627 und 1632 im Stile der Spätrenaissance neu aufbauen. Von nun an diente die Burg der Gräfin als Witwensitz. Vom durch Gräfin Maria Magdalena zur Lippe erbauten Saalbau mit Treppenturm ist heute nur ein Flügel erhalten geblieben, welcher zwischen 1911 und 1913 erneuert und mit Stilelementen der Weserrenaissance überbaut wurde.

In den Jahren von 1938 bis 1945 war in der Burg ein Müttergenesungsheim und anschließend bis 1962 ein evangelisches Kindererholungsheim untergebracht. Nachfolgend wurde das Gebäude saniert, umgebaut und anschließend als Hotel und Restaurant genutzt. Nach jahrelangem Leerstand hat das Gebäude 2016 einen neuen Besitzer gefunden.

Die Burganlage besteht heute aus einem weiten Vorhof und einem L-förmig angelegten Hauptgebäude. Die Burg selbst ist in Bruchsteinbauweise erbaut, während die Fenster durch skulpierte Einfassungen mit kannelierten Halbsäulen gerahmt sind, welche von Pilastern getragen werden. Diese Einrahmung trägt ein ornamentiertes Gebälk.