Hrad Skalka byl postaven na počátku 14. století. Prvním prokázaným majitelem byl v letech 1357 až 1360 Petr ze Skalky. V roce 1418 připadla Skalka Hansi von Sullowitz av držení šlechtického rodu Kaplířů ze Sulevic zůstal až do roku 1540. V letech 1540-1544 vlastnil Skalku Jan z Vřesovic, po něm Jan Kaplíř z Košťalova. V roce 1578 přešlo panství sňatkem na Adama Hrzána z Harasova. V roce 1639 Švédové Skalku vypálili, hrad nebyl obnoven ani později.
Na konci 17. století nechal Jan Hrzán z Harrasu na úpatí hradní skály postavit barokní zámek podle plánů Antonia della Porty. Stavební material byl získán z rozpadajícího se hradu, takže dnes se kromě malebné tvrze, která není přístupná, nezachovaly žádné další pozůstatky hradního komplexu. Uvnitř věže, která naposledy sloužila jako hladomorna, byly nalezeny nápisy vězňů ze 17. století.
