Die Festung wurde in den Jahren 1832–1836 als Teil des Verteidigungssystems der Festung Kołobrzeg aus dem Osten und zur Bekämpfung von Schiffen, die den 2,5 Kilometer entfernten Hafen bedrohten, errichtet. Diese Schanze besiegelte die Verteidigung, die früher auf dem Wilczy-Fort (heute ein Amphitheater) basierte. Während des Napoleonischen Krieges im Juli 1807 wurde klar, wie groß der Bedarf sein würde. Das Fehlen dieser Verbindung zwang die Verteidiger von Kołobrzeg dazu, größere Truppenkräfte in diesen Kampfabschnitt zu entsenden, und hier kam es zu blutigen Scharmützeln. Unter den Getöteten befand sich auch der stellvertretende Festungskommandant Karl von Waldensfels, der eine Grenadiere-Einheit befehligte. Die errichtete Festung wurde nach ihm benannt. Nur 50 Jahre nach seiner Erbauung verlor der Steinwall seine militärische Bedeutung. In der zweiten Hälfte des 19. Jahrhunderts begann sich Kolberg zu einem Kurort zu entwickeln, Militärgebiete und -anlagen wurden geschlossen und in Erholungsgebiete umgewandelt. Vielerorts, so auch hier im Jahr 1887, wurden Wassergräben zugeschüttet, Gassen angelegt und ein Aussichtspunkt mit einem Café eingerichtet, wobei die Kasemattenmauern und Erdwälle erhalten blieben. Im Zweiten Weltkrieg hatte der Wall erneut militärische Bedeutung – er war einer der letzten Verteidigungspunkte der Deutschen. Es wurde von Truppen der Roten Armee erobert. Nach dem Krieg wurde die Festung kurzzeitig in das Küstenverteidigungssystem aufgenommen – in den Jahren 1950–1951. Anschließend wurde sie in das Verzeichnis der Denkmäler eingetragen, wo sie auch heute noch aufgeführt ist, obwohl 1972 und zuletzt 1972 versucht wurde, sie aus der Liste zu streichen im Jahr 2013.
Im Jahr 1972 gab es auf Provinz- und Ministerebene Versuche, über die Köpfe der Kołobrzeg-Behörden hinweg das Erdwerk aus der Denkmalliste zu streichen und abzureißen. Aufgrund der Proteste kam es zwar nicht dazu, aber während der bürokratische Streit weiterging, gelang es dem Seeamt, den Felsstreifen abzubauen, der das Ufer vor den Wellen schützte. Die Steine, nach denen die Stadtmauer benannt ist, wurden wahrscheinlich für den Bau des Danziger Nordhafens abgetragen. Die Einwohner von Kołobrzeg hörten auf, „auf den Felsen“ spazieren zu gehen, wie sie den Zweck der Reise zu beschreiben pflegten, und das Meer reagierte mit diesem törichten menschlichen Verhalten, indem es an diesem Ort einen Teil des Strandes wegnahm. Erst im Jahr 2013 ermöglichten Verschlammungsarbeiten und Unterwasserdämme mit Sand die Rekonstruktion des breiten Strandes von Kamienny Szaniec.