Fort zbudowano w latach 1832 -1836 jako element systemu obrony twierdzy Kołobrzeg od wschodu oraz do zwalczania okrętów zagrażających oddalonemu o 2,5 kilometra portowi. Szaniec ten uszczelnił obronę, która dotychczas opierała się na Forcie Wilczym (dzisiaj amfiteatr). Podczas wojny napoleońskiej w lipcu 1807 roku okazało się, jak bardzo byłby potrzebny. Brak tego ogniwa zmusił obrońców Kołobrzegu do skierowania na ten odcinek walk większych sił ludzkich i dochodziło tu do krwawych potyczek. Zginął wtedy między innymi zastępca komendanta twierdzy Karl von Waldensfels, który dowodził oddziałem grenadierów. Wybudowany szaniec nazwano jego imieniem. Zaledwie 50 lat od wybudowania, Kamienny Szaniec przestał mieć znaczenie militarne. W drugiej połowie XIX wieku Kołobrzeg przestawiał się na rozwój jako uzdrowisko, a tereny i obiekty wojskowe likwidowano, zamieniając na rekreacyjne. W wielu miejscach, także tutaj w 1887 roku, zasypano fosy i poprowadzono alejki, urządzono punkt widokowy z przeszkoloną kawiarnią, jakkolwiek zachowano mury kazamatów i wały ziemne. W czasie II wojny światowej szaniec jeszcze raz miał znaczenie militarne - był jednym z ostatnich punktów obrony Niemców. Został zdobyty przez oddziały Armii Czerwonej. Po wojnie fort został włączony na krótko w system obrony wybrzeża - w latach 1950-1951, następnie został wpisany do rejestru zabytków, w którym znajduje się do dzisiaj, mimo prób wykreślenia go z niego w roku 1972 i ostatnio w roku 2013.
W 1972 roku próbowano na szczeblu wojewódzkim i ministerialnym, ponad głowami władz Kołobrzegu, wykreślić szaniec z listy zabytków i rozebrać. Wskutek protestów do tego nie doszło, lecz gdy trwały biurokratyczne przepychanki, Urząd Morski zdążył rozebrać opaskę z głazów, zabezpieczającą brzeg przed falami. Kamienie, od których szaniec nosi swoją nazwę, wywieziono prawdopodobnie do budowy Portu Północnego w Gdańsku. Kołobrzeżanie przestali chodzić na spacery "na kamienie", jak dotychczas określali cel wycieczki, a morze rozprawiło się z tak niemądrym ludzkim postępowaniem w ten sposób, że zabrało w tym miejscu kawał plaży. Dopiero w 2013 roku prace refulacyjne i podwodne wały zatrzymujące piasek pozwoliły odtworzyć szeroką plażę przy Kamiennym Szańcu.