Dzisiejszy dom kultury Klub XIII Muz mieści się w tzw. Pałacu pod głowami, który w rzeczywistości składa się z dwóch budynków. Obiekt został wzniesiony w końcówce XVIII wieku w stylu klasycystycznym i połączony z budynkiem mieszczącym się od strony ul. Staromłyńskiej w 1889 roku.
Od połączenia budynków aż do końca drugiej wojny światowej pałac służył władzom wojskowym. Podczas wojny uległ nieco zniszczeniu, odbudowano go w 1958 roku i przekazano instytucjom kulturalnym. W części zachodniej (od pl. Żołnierza Polskiego) mieści się klub XIII Muz, który został założony przez Konstantego Ildefonsa Gałczyńskiego.
Nazwa budynku pochodzi od dziewięciu głów, które do II wojny światowej były umieszczone w nadprożach okien na pierwszym piętrze budynków. Pierwotnie były to głowy herosów. Po wojnie podczas remontu budynku umieszczono w miejscu dawnych głów, głowy szczecinian, którzy byli związani z kulturą – m.in. Władysława Filipowiaka, Jana Papugi, Józefa Bereckiego, Stefana Kwileckiego. Autorem rzeźb jest Sławomir Lewiński, który w ten sposób chciał podkreślić młodą polskość miasta.
We wnętrzu pałacu odnajdziemy kilka oryginalnych elementów, w niektórych pomieszczeniach zachowała się sztukateria. Ciekawostką jest natomiast możliwość wirtualnego zwiedzania Sali Kominkowej, która mieści się w Pałacu pod Głowami. Obiekt został wpisany na wojewódzką listę zabytków w czerwcu 1954 roku.