W średniowiecznym Kaliszu Pomorskim działało ok. 300 zakładów sukienniczych. Majstrowie ostrzyli noże i nożyce właśnie na kamieniu szlifierskim. Jednak według legend służył on także do szlifowania charakterów ludzi. Ludzie natrętni, pyszni, o złych manierach powinni nauczyć się, że ich zachowanie jest niestosowne. Powinni zostać "oszlifowani". Do tego służył obrzęd, w czasie którego przyprowadzano osobnika na specjalny podest i "szlifowano" mu głowę. Wokół trwał ludowy festyn, przypominający studenckie otrzęsiny. Bawiono się i śpiewano.
Po II wojnie światowej kamień zaginął. Wraz z odejściem niemieckich osadników zapomniano także o tradycjach i obrzędach związanych z kamieniem. Odnaleziono go dopiero w 2003 roku podczas prac leśnych. Odrestaurowano go i ustawiono w lesie w pobliżu jeziora Młyńskiego. Obecnie można jedynie na nim "szlifować" wiedzę na temat kamienia i Kalisza Pomorskiego.