Das Gelbe Haus, seit 1989 Sitz des Museums, besteht aus drei Teilen: einem dreigeschossigen Wohnturm aus dem 13.Jahrhundert, dem zwei barocke Gebäude angefügt wurden. Die Dauerausstellung widmet sich der Geschichte und der Kultur Esslingens von der Vor- und Frühgeschichte bis ins 20. Jahrhundert. Schwerpunktthemen sind dabei die Staufer als Stadtherren, das Zunftwesen, städtische Alltagsgeschichte, der Weinbau und das alte Handwerk, Esslingen im 18. Jahrhundert, Biographien namhafter Persönlichkeiten aus Esslingen. Zu den Ausstellungsstücken gehören neben Urkunden, Münzen und Siegeln die Rechtsaltertümer der städtischen Selbstverwaltung vor 1800, Ratsherrenporträts, Skulpturen, Glasgemälde und Frühdrucke des Spätmittelalters sowie Gegenstände und Objekte aus dem Alltagsleben der Stadt.