Der Große Wendelstein, Bauzeugnis der Frührenaissance, gehört zu den bedeutendsten Teilen des im 15./16. Jh. erbauten Schlosses. In den Mauern des Residenzsitzes der Ernestiner und Albertiner wirkten historische Persönlichkeiten wie Kaiser Karl der V. und Martin Luther. Mit seiner "grobdeutschen" Rede weihte er 1544 die Schloßkapelle als ersten protestantischen deutschen Kirchenbau.
Während des Siebenjährigen Krieges nutzte Friedrich der II. das Gebäude als Lazarett und Hauptfeldkriegsdirektorium. Als späteres Zucht-, Armen- und Siechenhaus drohte es zu verfallen, so dass es 1811 zur sächsisch-französischen Festung umgebaut wurde.
Seit 1951 existiert hier das ca. 20 Räume umfassende Kreismuseum, welches sich neben der Schlossgeschichte und Stadtarchäologie auch Themen der Ur- und Frühgeschichte sowie dem "Lebensraum Elbe" widmet.
