Nazwa miasta pochodzi od leżącego na brzegu Wyspy Chrząszczewskiej głazu zwanego królewskim. Według tradycji Bolesław Krzywousty miał z niego dokonać w 1121 roku przeglądu floty.
Osada ze względu na swoje położenie bardzo szybko zyskała na znaczeniu. Już w 1176 roku stała się siedzibą biskupów pomorskich. Stało się to po spustoszeniu pierwotnej stolicy biskupa w Wolinie. Wtedy też rozpoczęto wznoszenie kanonii, pałacu biskupiego i katedry, którą z powodu najazdu Duńczyków i Brandenburczyków ukończono dopiero w XIV wieku. Całość zespołu została otoczona murem obronnym. W późniejszych wiekach zespół wzbogaciły: dom dziekana, plebania, dom instytutu dla panien, dom zakrystiana, ceglana kanonia i szkoła. W początkowym okresie reformacji biskupstwo nie uległo kasacji. Dopiero po śmierci ostatniego biskupa katolickiego w 1544 roku Kamień Pomorski stał się siedzibą biskupów luterańskich. Był nią do 1648 roku. W latach 1648-1821 w Kamieniu rezydowała luterańska kapituła. Od 1812 do 1945 roku katedra była kościołem parafialnym. Pod zarząd kościoła rzymskokatolickiego kompleks powrócił po II wojnie światowej. W 1972 roku katedra została ponownie konsekrowana. W 2005 roku zespół katedralny uznany został za Pomnik Historii.
Równolegle do kompleksu katedralnego rozwinęło się miasto. Wykształciło się ono ze słowiańskiego grodu istniejącego co najmniej od X wieku. W 1124 roku Otton z Bambergu dokonał pierwszego chrztu mieszkańców Kamienia. W 1274 roku osada otrzymała prawa miejskie, co wydatnie przyczyniło się do jej rozwoju. Wytyczono wówczas siatkę ulic, z centralnie umieszczonym placem targowym - rynkiem. Rozpoczęto wznoszenie ratusza i murów obronnych. W XIV wieku Kamień przystąpił do związku hanzeatyckiego, poszerzając tym samym sieć kontaktów handlowo-politycznych. W XVII wieku miasto trzykrotnie zmieniło przynależność terytorialną. Najpierw dostało się pod panowanie królów Szwecji, później Brandenburgii, a na koniec Królestwa Prus. W 1892 do Kamienia dotarła kolej. W trakcie ostatniej fazy II wojny światowej miasto zostało w 40% zniszczone w trakcie bombardowania przez Armię Czerwoną. W takim stanie zostało przekazane Polsce. W latach 60. XX wieku wyburzono część ocalałej zabytkowej zabudowy, zastępując ją blokowiskiem.