Svatá Hora Polanowska entstand während der jüngsten Vereisung, der so genannten Baltischen Vereisung. Damals entstanden die vorderen Moorgebiete in der pommerschen Region. Zu ihnen gehören drei heilige Berge der Region: Chełmska Góra bei Koszalin, Rowokół bei Smołdzin und, der höchste von ihnen, Święta Góra bei Polanów.
Die ältesten Spuren einer Siedlungstätigkeit auf Swieta Gora stammen aus dem 8. Im frühen Mittelalter soll es an dieser Stelle zunächst eine hölzerne und dann eine gemauerte Kirche gegeben haben. Sie soll an der Stelle eines heidnischen Tempels gestanden haben. Diese Information konnte jedoch nie bestätigt werden. Über das spätere Schicksal des Tempels auf dem Gipfel des Svatá Hora sind nur wenige Informationen erhalten geblieben. Ende des 16. Jahrhunderts war die Kirche ein auf Steinfundamenten errichteter Backsteinbau mit quadratischem Grundriss und einem Turm mit drei Glocken. Zur reichen Innenausstattung der Kirche sollen ein wundertätiges Marienbild und zwölf goldene Apostelstatuen gehört haben. Auf dem Hügel soll auch eine wundertätige Quelle mit heilenden Kräften entsprungen sein. Die älteste Quelle, die den St. Polanowska-Hügel als Pilgerziel erwähnt, stammt aus dem Jahr 1435. Obwohl die westpommerschen Herzöge den Katholizismus zugunsten des Luthertums aufgaben, wurde der Kult der alten Religion auf dem Berg bis zum Ende des 16. Jahrhunderts fortgesetzt. Es wird angenommen, dass der Abriss mehrere Jahrzehnte gedauert hat. Außerdem heißt es in den Quellen, dass die Ziegel des Tempels heilende Kräfte besaßen. Deshalb sollen viele Pilger sie mitgenommen haben. Die Einrichtungsgegenstände des Tempels wurden wahrscheinlich in andere Kirchen der Region gebracht.
Ende des 19. Jahrhunderts kehrte der Katholizismus nach Polanów zurück, während erst nach dem Zweiten Weltkrieg ein Holzkreuz auf dem Heiligen Berg geweiht und der Bau einer neuen Kapelle angekündigt wurde. Ende der 1970er Jahre wurde ein Feldaltar unter dem Kreuz aufgestellt. Jedes Jahr am Fest der Mutter der Kirche und der Geburt der Heiligen Jungfrau Maria (8. September) pilgerten die Gläubigen nach Svatá Hora Polanowska, wo die Messe gefeiert wurde. Während der Gottesdienste im September wurde das Saatgut für neue Aussaaten gesegnet. In den letzten Jahren empfingen einige Gläubige an diesem Ort das Sakrament der Firmung.
Seit 2002 ist der Ort eine Einsiedelei der Franziskanerpatres der Provinz St. Maximilian Maria Kolbe in Danzig, die aus dem Kloster in Darlowo stammen. Die Einsiedelei wurde im pommerschen Stil gestaltet - nach dem Vorbild kaschubischer Bauten. Die Gottesdienste werden dort mit einer kaschubischen Wortliturgie gefeiert. Auf den Dächern befinden sich Kreuze - darunter das Kreuz des Heiligen Geistes. Der Initiator, Bewohner und Gastgeber der Einsiedelei war Pater Janusz Jędryszek OFM Conv.
In den Jahren 2003-2004 errichteten die Franziskaner neben den Fundamenten des ehemaligen Heiligtums eine Kapelle und eine Einsiedelei, die der Muttergottes vom Himmelstor gewidmet ist. Das Marienbild, das als "Pforte des Himmels" verehrt wird, befindet sich auf dem Berg Athos vor der Küste Griechenlands; der Legende nach soll es vom Evangelisten Lukas gemalt worden sein. Eine Kopie dieser Ikone wurde im Jahr 2000 nach Polen gebracht und auf dem Heiligen Berg von Grabarka in der Nähe von Siemiatycze in dem dortigen orthodoxen Heiligtum aufgestellt. Eine Kopie für die neue Franziskaner-Einsiedelei auf dem Heiligen Berg von Polanovsk wiederum wurde vom bulgarischen Maler Todor Dimchevsky gemalt. Das Gemälde wurde am 27. August 2004 vom orthodoxen Erzbischof Jeremias in Koszalin eingeweiht.
Ein Kreuzweg mit Volksskulpturen führt zum Gipfel des Heiligen Berges von Polanovsk. Etwas abseits des Weges entspringt eine Quelle, die Brunnen der Gesundheit genannt wird und mit der Legenden von Heilungen verbunden sind. Neben dem Tempel erhebt sich ein Kreuz mit einer Inschrift in polnischer und deutscher Sprache, die lautet: "Wenn das menschliche Gedächtnis verblasst, sprechen weitere Steine".
Svatá Gora Polanowska wurde in die Liste der Pilgerwege aufgenommen. Entlang der Straße von Koszalin nach Polanów wurden 31 Schreine errichtet, die Szenen aus dem Leben Jesu Christi darstellen. Und im Jahr 2010 wurde der mittelalterliche Pilgerweg, der die beiden Heiligen Berge - Chełmska und Polanowska - verbindet, als Teil des Pommerschen Jakobswegs erneut in das europäische Netz der Jakobswege aufgenommen, das zum spanischen Santiago de Compostela führt. Der Heilige Berg ist auch Teil der Pilgerrouten, die sich um solche Orte in der Region mit dem Namen "Heilige Berge Pommerns" gruppieren. "Heilige Berge Pommerns" (Święta Góra Polanowska, Chełmska Góra bei Koszalin und Góra Rowokół). Im Rahmen des Projekts wurden Wander- und Radwege markiert, die diese heiligen Stätten miteinander verbinden.
Einzigartig für alle, die den Heiligen Berg von Polanow besuchen, ist die unvorstellbare Stille und Ausgeglichenheit des Ortes. Wer die Hektik der Welt und das schnelle Leben satt hat, kann hier in der Franziskaner-Einsiedelei zu Gott finden. In der Einsiedelei gibt es keinen Strom, also nicht nur kein Fernsehen, Internet oder Radio und Telefon, sondern auch kein Licht und keinen Kühlschrank. Der Ort zieht an und besticht durch seine unberührte Schönheit und die ungebrochene Gelassenheit in jedem Augenblick und im Gebet.