V roce 1691 dal František hrabě Kolowrat-Krakovský z vděčnosti za to, že byl ušetřen morové epidemie v roce 1680, postavit na vrchu Horka kapli Nejsvětější Trojice.
Kaple postavená v italském barokním stylu má neobvyklý trojúhelníkový půdorys, který odkazuje na motiv Nejsvětější Trojice. Architektem kaple je Francouz Jean Baptiste Mathey, který v té době působil v Čechách.
V roce 1830 se majiteli Chlumce stala hrabata Westphalen-Fürstenbergové. Josef Klement hrabě Westphalen nechal na Horce pod kaplí postavit rodinnou hrobku.
Ve druhé polovině 18. století bylo na cestě od vesnického kostela ke kapli postavena křížová cest se 14 zastaveními.
