Baugeschichte
Zunächst entstand eine mehrteilige Burganlage auf dem Felssporn oberhalb des Schwarzwassers. Ältester Teil ist der Bergfried aus dem ausgehenden 12. Jahrhundert. 1555-1558 erfolgte der Umbau zum kurfürstlichen Jagdschloß. Im 19. Jh. werden Südflügel und Turm erhöht. 1876 wird die Anlage durch den Neubau des Nordflügels vollendet, in dem das Königlich Sächsische Amtsgericht untergebracht wird.
Museum
Die Museumsgründung erfolgte 1947 durch Schwarzenberger Heimatfreunde. Das Heimatmuseum erhielt ab 1954 sein Domizil im Schloß Schwarzenberg, wurde 1959 erweitert und in "Erzgebirgisches Eisen", 1977 in "Erzgebirgisches Eisen und Zinn" umbenannt. Ab 1976 begannen umfangreiche Restaurierungsarbeiten, in deren Folge das Museum 1977 - 1982 geschlossen blieb. Die Wiedereröffnung erfolgte 1982 mit einigen Räumen im Erdgeschoß, 1983 kann das gesamte Erdgeschoß fertiggestellt werden. 1987 wurde das 2.Obergeschoß der Öffentlichkeit übergeben und eine neue Ausstellung zum Spitzenklöppeln eingeweiht. Im Sommer 1994 wurde die mittlere Etage von Palas und Südflügel mit einer erweiterten Spitzenausstellung fertiggestellt. Gleichzeitig konnte der Bereich Zinn umfangreicher dargestellt werden. Ausstellungsschwerpunkt sind Sammlungen von Kunsthandwerk, wie geschmiedetes und gegossenes Eisen, gegenständliches Zinn des 17. - 19. Jahrhunderts und Spitzen des 16. -20. Jh. Ein Einblick in die Stadt- und Schloßgeschichte sowie den Bergbau ist darüber hinaus möglich. Jährlich werden ca. 6 Sonderausstellungen zu den Themen Volkskunst, Spielzeug, Textilkunst, Mineralogie und Volkskunde organisiert.