Erbaut wurde das Osthofentor, das Teil der Stadtbefestigung von Soest war, von 1523 bis 1526 nach Plänen des hessischen Baumeisters Porphyrius von Neuenkirchen. Es ist als einziges von den ehemals zehn Toren der Soester Stadtbefestigung erhalten geblieben. Der Bau bildete ursprünglich den Innentorturm der Osthofentoranlage. Infolge der Bahnhofserweiterung im Jahr 1890 ist das Osthofentor nicht mehr mit der Stadtumwallung verbunden. Die Ansätze der Wallmauern sind jedoch auf beiden Seiten noch erkennbar.

Seit 1982 dient das Gebäude als Museum, in dem verschiedene Themenbereiche der Soester Stadtgeschichte präsentiert werden. Einen Schwerpunkt der Sammlung bilden die etwa 25.000 Armbrustbolzen aus dem 14. bis 16. Jahrhundert.

Als Material wurde für das Osthofentor der für die Region um Soest damals typische Grünsandstein verwendet. Der Bau wurde dreigeschossig errichtet und schließt mit einem hohen Zeltdach ab. Durch das Erdgeschoss des Tors führt die spitzbogige Durchfahrt. Auf der Feldseite ist über der Durchfahrt eine Skulptur des Heiligen Patroklus angebracht, neben der sich rechts und links das Stadt- und das Reichswappen befinden. Im Geschoss darüber weist die Fassade an den Ecken zwei polygonale und in der Mitte einen rechteckigen Erker auf. Schießscharten in den Wänden zeugen noch von der einstigen Funktion des Osthofentors.