Pastýřská stěna byla již v 19. století velmi oblíbeným výletním cílem v Děčíně. Nad čelní východní stěnou byla v roce 1905 dostavěna vyhlídková restaurace v podobě malého romantického hradu s dokonalým výhledem na Děčín se zámkem.
Na Pastýřské stěně funguje velmi oblíbena horolezecká trasa Via Ferrata, která je určena i horolzcům amatérům.
Na zalesněném návrší se nachází zoologická zahrada.