Zámek nechal postavit hrabě Albert Nostic v letech 1856-1863 ve stylu anglické novogotiky. Projektoval ho známý vídeňský architekt Heinrich Ferstel. Roku 1919 zámek zakoupil ústecký továrník Wolfrum. Od něj jej později získalo město Ústí nad Labem. Až do roku 1964 v zámku sídlilo městské muzeum.
Pak bylo muzeum pro havarijní stav budovy uzavřeno a zámku hrozila v souvislosti s výstavbou dálnice demolice. Naštěstí z tohoto záměru sešlo a zámek dál sloužil jako depozitář muzea. V letech 1939-1993 byly Trmice součástí Ústí nad Labem. Roku 1994 se osamostatnily a v roce 1997 byl zámek zrekonstruován.
Dnes zámek slouží jako kulturní centrum. V několika sálech je instalována stálá expozice z historie regionálního průmyslu a expozice modelové železnice.
