Zámek byl totiž vystavěn až v letech 1842 až 1845 to per hraběte Karla Chotka, který se zde rozhodl žít po penzionová. Vzhled zámku po svém dokončení vypadal jinak než dnes, byla mnohem jednodušší.. Jednalo o moderní empírový zámek s veškerým komfortem a moderním vybavením své doby.
Zámek byl znovu v letech 1885 až 1910 přestavěn v novorenesančním slohu. Přestavbu zámku realizoval vnuk zakladatele – hrabě Karel Maria Chotek (1853–1926), předposlední majitel panství. Karel Maria rád cestoval a fotografoval. Byl take členem vídeňského Camera-clubu a získal několik cen a uznání za umělecké fotografie. Na zámku je dodnes k vidění kufr jeho negativů a fotografií.
Z velkobřezenské linie rodu Chotků pochází Žofie Chotková, pozdější manželka arcivévody Ferdinanda d´Este, která byla společně se svým manželem 28. června 1914 zastřelena při známém sarajevské,.m.atent
Chotkové, starý český rod a mající v některých případech dalekosáhlý vliv na chod mezinárodních dějin, vymírají po meči v osobě posledního majitele zámku Karla Chotka v roce 1970. Zámek byl na základě Benešových dekretů zkonfiskován již v roce 1945, poté byl zámek využíván jako domov pro sirotky, politická škola a sklad armády.
Zámek byl postupně zpřístupňován od 80. let 20. století. V současnosti zámek disponuje rozsáhlou sbírkou obrazů, fotografií nebo původním mobiliářem rodu.
