Mylau verfügt über eine stattliche Burg romanischen Ursprungs (Baubeginn um 1180) mit zwei Höfen, drei Türmen und einer großen Vorbefestigung. Die zeitweilige Bezeichnung als Kaiserschloß fußt auf dem Erwerb durch Kaiser Karl IV. und seiner Anwesenheit 1367. Nach Kauf durch die Stadtverwaltung 1892 wurde das verfallene und nur noch gewerblich genutzte Gemäuer (Stoffdruckerei) unter Leitung eines Schloßbauvereins zum Teil im Historismusstil umgestaltet. Dabei wurden repräsentative Räume, wie der Ratssaal und das heute zum Museum gehörende Metzschzimmer der damaligen Schloßschenke geschaffen.
Das bereits 1883 durch einen Naturkundeverein gegründete Museum besitzt regionale und überregionale Bedeutung. Es informiert über die Geschichte von Burg und Stadt, aber auch über die Entstehung der nahen Göltzschtalbrücke (größte Ziegelbrücke der Welt) sowie ihrer kleinen Schwester im Elstertal bei der Talsperre Pöhl. Zudem beherbergt es eine umfangreichste Naturkundesammlung des sächsischen Vogtlandes mit zahlreichen Präparaten vom Schmetterling bis zum Elch und Wisent (z. T. in einem Naturalienkabinett) sowie mit Gesteinen und Mineralien.