Im Zusammenhang mit Taubenheim wird häufig auf die Fam. v. Nostitz verwiesen, welche auch Schloß Halbendorf und Schloß Oppach besaßen. Auch die Fam. von Zezschwitz (Schloß Piskowitz) war hier ansäßig. Hans Heinrich von Zezschwitz zu Ehren wurde im Schloßgarten ein Granitener Obelisk erstellt. Heute ist das Schloß Privateigentum. Das zweite Schloß in Taubenheim ist etwas älter und wird das Niedere Schloß genannt. Es entstand 1890.