Budynek pałacu został wzniesiony w stylu gotyckim w drugiej połowie XV wieku. Powstał w miejscu budowli z początku XIV wieku. W 1568 roku został przebudowany. Nadano mu wówczas cechy renesansowej rezydencji. Pałac uzyskał nowe wnętrza i elewacje, w tym od razu zwracający uwagę szczyt ozdobiony manswerkami. W zachodniej ścianie wymurowano wykusz, który jest uznawany za jedno z najpiękniejszych dzieł na Pomorzu. Na uwagę zasługuje również trójbiegowa klatka schodowa wewnątrz budynku. Wraz z katedrą, domem zakrystiana, kanonią, plebanią, kurią dziekana i szkołą wchodziła w skład dawnego osiedla katedralnego.
Po 1945 roku w pałacu miała swoją siedzibę biblioteka. Obecnie znajduję się w nim archiwum oraz sale wystawowe Muzeum Historii Ziemi Kamieńskiej.