Das Museum Abteiberg besteht aus einer spannungsreichen Bautengruppe, die sich auf dem Museumsgelände knapp unterhalb der Abteibergkuppe um einen platzartigen Fußgängerbereich arrangiert.
Der Architekt Hans Hollein nahm in seinem Entwurf Bezug auf die topographische Situation, der er durch die Ausgestaltung des Gebäudekomplexes auf mehreren Ebenen Rechnung trug. Auch die heterogene Umgebungsbebauung, die in ihrem Spektrum vom gotischen Chor bis zum Parkhaus aus den 1960er Jahren reicht, wurde in der Konzeption der Museumsbauten aufgegriffen.
Es entsteht ein klar abgegrenzter Museumsbezirk aus vielfältigen Bauwerken. So erinnert der Verwaltungsturm an die Hochhäuser der City. Die mit Zinkblech verkleideten, oberen Ausstellungsräume mit ihren Shed-Dächern an die Fabrikarchitektur der Textilfabriken Mönchengladbachs und das Eingangsbauwerk aus weisem Marmor weckt Erinnerungen an die Akropolis.
Dem komplexen äußeren Erscheinungsbild entspricht die vielfältige Raumabwicklung im innern. Die teilweise unterirdisch gelegenen Ausstellungsräume werden durch ein dichtes Netz von Wegen, Treppen und Rampen miteinander verbunden, anstelle des üblichen Rundweges wird der Besucher dazu angeregt, eine Entdeckungsreise zu machen.