Schloss Voigtsberg in der vogtländischen Teppich-Stadt Oelsnitz liegt mehr als 400 m über dem Meeresspiegel. Der Ort wird erstmalig 1200 urkundlich erwähnt und in einer Urkunde von 1357 als Stadt bezeichnet.
Der Name Oelsnitz kommt aus der slawischen Sprache und bedeutet soviel wie Erlenort. Die Erle war der am häufigsten vorkommende Baum im Tal der Schwarzen Elster.
In der wirtschaftlichen Entwicklung der Stadt spielte das Textilhandwerk schon immer eine große Rolle. So verwundert es auch nicht, dass im Schloss Voitsberg ausführlich darüber im Teppich- und Heimatmuseum informiert wird. Die Besitzer der zwischen 1232 und 1249 erbauten Burg waren einst die Vögte von Straßberg. Aus dem Text einer Urkunde König Wenzels von Böhmen, in der 1249 der Name Eberhard von Voigtsberg genannt wird, schließen Historiker, dass die Burg zu diesem Zeitpunkt bereits erbaut war. Mitte des 14. Jahrhunderts fiel die Burg jedoch an die Markgrafen von Meißen.
Das Schloss hat im Laufe der Jahrhunderte mehrfach sein Gesicht geändert und wurde verschieden genutzt, so u.a. im 19. Jahrhundert als Gefängnis.
Zum Schloss gehören die Kernburg mit einem mächtigen Bergfried, der Palas, die Vorburg sowie eine durch Türme verstärkte Schildmauer.