Święta Góra Polanowska powstała w okresie najmłodszego zlodowacenia, zwanego bałtyckim. Wypiętrzyły się wówczas na terenie Pomorza pasma morem czołowych. W ich skład wchodzą trzy święte góry tego regionu: Chełmska Góra koło Koszalina, Rowokół koło Smołdzina oraz najwyższa z nich Święta Góra koło Polanowa.
Najstarsze ślady aktywności osadniczej na Świętej Górze pochodzą z VIII w. p.n.e. W okresie wczesnego średniowiecza w tym miejscu miał się znajdować początkowo drewniany, a następnie murowany kościółek. Według podań miał on stanąć na miejscu pogańskiej świątyni. Informacje te jednak nigdy nie zostały potwierdzone. Niewiele informacji zachowało się na temat późniejszych losów świątyni na szczycie Świętej Góry. Pod koniec XVI w. kościółek był budynkiem wzniesionym z cegły na kamiennych fundamentach, założonym na planie kwadratu z wieżą mieszczącą 3 dzwony. Przypuszcza się, że do bogatego wyposażenia wewnętrznego kościoła należały: cudowny wizerunek Maryi oraz dwanaście figur apostołów wykonanych ze złota. Na Górze miało się również znajdować cudowne źródło, które miało cechy uzdrawiające. Z 1435 r. pochodzi najstarsza wzmianka źródłowa traktująca o Świętej Górze Polanowskiej, jako miejscu docelowym pielgrzymek. Jednakże pielgrzymowanie w to miejsce rozwinęło się dopiero w XV w. Pomimo odejścia książąt zachodniopomorskich od katolicyzmu na rzecz luteranizmu kult starej religii był kontynuowany na Górze do końca XVI w. Na początku XVII w. doszło do rozbiórki kościoła na Świętej Górze. Przy czym przypuszcza się, iż rozbiórka mogła trwać kilkadziesiąt lat. Dodatkowo w źródłach zachowała się informacja, że cegły ze świątyni miały uzdrawiając moc. Dlatego też wielu pielgrzymów miało również zabierać ze sobą. Wyposażenie świątyni zostało zapewne wywiezione do innych kościołów w regionie.
Katolicyzm do Polanowa powrócił pod koniec XIX w., natomiast dopiero po II wojnie światowej na Świętej Górze poświęcono drewniany krzyż i zapowiedziano budowę nowej kaplicy. Pod koniec lat 70. XX w. pod krzyżem umieszczono ołtarz polowy. Każdego roku w Uroczystość Matki Kościoła i Narodzenia Najświętszej Marii Panny (8 września) wierni pielgrzymowali na Święto Górę Polanowską, gdzie odprawiana była msza św. Podczas nabożeństw wrześniowych święcono ziarno pod nowe zasiewy. W ostatnich latach w tym miejscu część wiernych otrzymało Sakrament Bierzmowania.
Od 2002 r. miejsce to jest pustelnią ojców franciszkanów z prowincji św. Maksymiliana Marii Kolbego w Gdańsku, z klasztoru w Darłowie. Pustelnia zaprojektowana została w stylu pomorskim – oparta na wzornictwie budownictwa kaszubskiego. Bywają w niej Msze św. z kaszubską liturgią słowa. Na jej dachach znajdują się krzyże – m.in. Krzyż Świętego Ducha. Pomysłodawcą, mieszkańcem i gospodarzem Pustelni był o. Janusz Jędryszek OFM Conv.
W latach 2003–2004 obok fundamentów dawnej świątyni franciszkanie zbudowali kaplicę i pustelnię pw. Matki Bożej Bramy Niebios. Obraz Maryi czczony jako „Brama Niebios” jest na Górze Athos u wybrzeży Grecji, według legendy, miał go namalować św. Łukasz Ewangelista. Kopię tej ikony przeniesiono w 2000 r. do Polski i umieszczono na Świętej Górze Grabarce k. Siemiatycz w tamtejszym prawosławnym sanktuarium. Natomiast kopię dla nowej franciszkańskiej pustelni na Świętej Górze Polanowskiej namalował malarz z Bułgarii Todor Dimczewski. Obraz został poświęcony w Koszalinie 27 sierpnia 2004 r. przez prawosławnego arcybiskupa Jeremiasza.
Na szczyt Świętej Góry Polanowskiej prowadzi droga krzyżowa z rzeźbami ludowymi. Nieco w bok od ścieżki dojściowej wypływa źródło zwane Studnią Zdrowia, z którym wiążą się legendy o uzdrowieniach. Obok świątyni wznosi się krzyż z napisem w języku polskim i niemieckim o treści: „Gdy gaśnie pamięć ludzka dalej mówią kamienie”.
Święta Góra Polanowska wpisała została do grona tras pielgrzymkowych. Wzdłuż drogi Koszalin–Polanów stanęło 31 kapliczek przedstawiających sceny z życia Jezusa Chrystusa. Natomiast w 2010 r. łączący dwie Święte Góry – Chełmską i Polanowską, średniowieczny szlak pielgrzymkowy, ponownie został włączony do europejskiej sieci dróg św. Jakuba prowadzących do hiszpańskiej Santiago de Composteli w ramach Pomorskiej Drogi św. Jakuba. Święta Góra wchodzi również w skład tras pielgrzymkowych skupiających wokół tego rodzaju miejsc w regionie pt. „Święte Góry Pomorza” (Święta Góra Polanowska, Chełmska Góra koło Koszalina oraz Góra Rowokół). W ramach projektu wyznaczono ścieżki piesze i rowerowe łączące te święte miejsca.
To co jest unikatowe dla przybywających na Świętą Górę Polanowską to niewyobrażalna cisza i równowagą tego miejsca. Każdy zmęczony zgiełkiem świata, szybkiego życia może przybyć tutaj do franciszkańskiej pustelni i odnaleźć drogę do Boga. W pustelni nie ma elektryczności, a zatem nie ma nie tylko telewizora, internetu czy radia i telefonu, ale również światła, w tym lodówki. Miejsce to przyciąga i urzeka swym dziewiczym pięknem i niezmąconym spokojem każdej chwili i modlitwy.