Das „Große Haus von Aachen“, auch als „Haus Rupenstein“ bekannt, wurde 1495 vermutlich durch die Zusammenlegung zweier älterer Wohnhäuser von Heinrich Dollart umgebaut. Der Kellerbereich der ursprünglichen Gebäude ist noch teilweise erhalten. Eine Inschrift an der Nordseite des Gebäudes verweist auf den Umbau durch Heinrich Dollart im Jahr 1495. Das Erdgeschoss und das erste Obergeschoss stammen aus dieser Zeit, während das zweite Obergeschoss und der Anbau möglicherweise um 1660 errichtet wurden.

Das Gebäude ist in zwei verschiedene Baukörper gegliedert: Der Sockel und das Mauerwerk bis zum Fenstersturz sind mit Blaustein verkleidet, während der darüberliegende Teil in Ziegelmauerwerk ausgeführt und anthrazitfarben gestrichen ist. Eine rundbogige Tordurchfahrt im Erdgeschoss bildet den Zugang zum Gebäude, und ein durchgehendes Gurtgesims gliedert die Straßenfront. Unter dem Traufgesims des Walmdaches, das mit Pfannen gedeckt ist, zieht sich ein Zierbogenfries über die gesamte 19 Meter breite Fassadenfront.

Das Gebäude überstand den „Großen Brand“ von 1656 weitgehend unbeschadet. Im Jahr 1854 wurde das „Große Haus“ durch den Stadtbaumeister Friedrich Ark umgebaut, um es als Sitz der „Königlich Preußischen Polizeidirektion“ zu nutzen. Auf dem rückwärtigen Grundstück wurde ein Backsteinbau als Polizeigefängnis errichtet.

Ab 1931 wurde das Gebäude als Sitz des Internationalen Zeitungsmuseums (IZM) genutzt, und 1961 erfolgte eine Renovierung. Zwischen 2009 und 2011 erfolgte eine weitere Sanierung im Rahmen des Projekts „Route Charlemagne“, bei der das Gebäude durch fischerarchitekten Partnerschaft mbB zu einem Internationalen Medienzentrum umgestaltet wurde. Die baulichen Maßnahmen umfassten eine grundlegende Sanierung sowie die Anpassung des Gebäudes an die Anforderungen der modernen Museumsnutzung.

Die verschiedenen Geschosse des Gebäudes wurden funktional umgestaltet: Im Erdgeschoss befinden sich neben der Dauerausstellung auch eine Wechselausstellung, ein Vortragsraum und ein Café. Die Bibliothek ist im ersten Obergeschoss untergebracht, während Verwaltungs- und Archivräume das zweite Obergeschoss nutzen. Zur barrierefreien Erschließung wurde ein gläserner Aufzug an den historischen Baukörper angefügt.