Das seit 1949 als Privatschulinternat genutzte Schloss Varenholz wurde erstmals 1188 als Besitz der Familie von Vornholte genannt. 1323 ging die Burg an die Grafen zur Lippe über.
1542/43 wurde das Schloss mit mittelalterlichem Kern in spätgotischen Formen zu einer Vierflügelanlage ausgebaut.
In den Jahren 1591-1600 wurde der Schlossbau unter dem Grafen Simon VI. zur Lippe im Stil der Weserrenaissance vollendet. Durch Johan Bierbaum wurde die bestehende Anlage um einen zur Weser gerichteten Südwestflügel und das Gebäude zwischen Wohnturm und Torflügel ergänzt sowie durch Verbindungstrakte an die älteren Bauteile angebunden.
Der viergeschossige Wohnturm im Westen bildet mit seinem mittelalterlichen Kern den ältesten Bauteil der Schlossanlage.
Der dreigeschossige Weserflügel zeichnet sich aus durch seine breit gelagerte Front, die von zwei massiven Ecktürmen flankiert wird. Von einem bastionsartigen Untergeschoss ausgehend verjüngen sich die folgenden Geschosse zu einem quadratischen und schließlich einem oktogonalen Geschoss, das von einer Welschen Haube bedeckt ist.
Die Zwerchhäuser (Dachausbauten mit eigenem Giebel, quer zum Dachfirst angelegt) und Giebel des Satteldachs sind mit Voluten und Sichelendungen versehen. Die hofseitige Front wird durch den Kontrast von Streifenputz und fein gearbeiteten Werksteinteilen charakterisiert. In den Ecken sind Treppentürme auf polygonalem Grundriss vorgesetzt.
In der Mitte weist die Fassade eine bis in die Dachzone reichende Auslucht – ein auf dem Erdboden ansetzender, durchfensterter Gebäudevorsprung, der hier mit einem Staffelgiebel besetzt ist– auf. Zwischen den Fenstern sind kräftige Halbsäulen mit Kanneluren angebracht, in der Fensterbrüstung ornamentale und figürliche Bauplastik sowie Wappen und Tugendallegorien.
Die Innenräume wurden im Rahmen der Umnutzung als Internat umgestaltet. 1970-82 wurde die Schlossanlage restauriert. Das Schloss gilt als einer der wichtigsten Bauten der Weserrenaissance.