Z panského domu vznklo 1608 zámecká stavba. Jedná se o dvojpodlažní budovu s valbovou střechou pokrytou břidlicí se třemi vikýřemi. Vpředu se nachází osmiboká věž se schodištěm.
Po roce 1949 byl zámek využíván jako dům pro seniory. V tomto období byl zničen zámecký interiér budovy. V roce 1985 vypukl poár, který zničil část hospodářských budov, které musely být následně zbourány. Zůstal zachován pouze zámek, remíza a hospodářské budovy. Do roku 2016 budovy byly prázdné.
Dr. Konstantin Hermann, historik z Frauensteinu, zakoupil zámek Naudorf. Tímto se navrací po dlouhých letech život do starých zdí. Cílem je budovu vrátit do původní podoby a tím vrátit i charakter zámku. Majitel prostorem zámečku rád provádí skupiny náhodných cestovatelů, kteří zaklepou na vrata.
