Siedlungsspuren im heutigen Kolbatz reichen bis ins 7. Jahrhundert zurück. Im Mittelalter existierte hier eine herzogliche Burg, aber den größten Einfluss auf die Geschicke des Ortes hatte das ZisterzienserKloster. Im Jahre 1173 von Warcisław Świętoborzyca aus Dänemark geholt, widmeten sich die Mönche vor allem der Landwirtschaft, erneuerten die Dörfer und erbauten die wichtigsten Objekte. Im Mittelalter galt Kolbatz als “Hauptstadt der Ordensleute”.
1210-1347 wurden dank der Mönche in Kolbatz solche Gebäude errichtet wie das Kloster und die Kirche, Wirtschaftsgebäude und Festungswerke. Viele Objekte haben sich im Dorf erhalten und machen Kolbatz, neben Kamien Pomorski, zu dem Ort mit den meisten und bedeutendsten Baudenkmälern Westpommerns. Vom Klosterkomplex, der Ende des 12. Jahrhunderts entstand, sind bis heute das Konversenhaus, das Haus des Abtes, eine gotische Scheune und der Gefängnisturm erhalten.
Das Haus des Abtes wurde an der südöstlichen Ecke des Klosters im 14. Jahrhundert errichtet. Es handelt sich um ein eingeschossiges, unterkellertes Gebäude, das über den Kreuzgang mit dem Rest des Klosters verbunden war. Im Laufe der Zeit wurde das Haus viele Male umgebaut, so stammt das Fachwerk im oberen Teil aus dem 17. - 18. Jahrhundert. Ein einfaches Satteldach krönt das Haus. Das herausragendste am Abtshaus aber ist das zweigeteilte Nordportal mit ornamental gesetzten glasierten Ziegeln.
In der ersten Hälfte des 16. Jahrhunderts wurde das Abtshaus, nach der Säkularisierung des Klosters, als Residenz der pommerschen Herzöge genutzt. 1721 dann zog hier der Pächter des Gutes ein. Im 18. und 19. Jahrhundert wurde das Haus modernisiert. Dabei wurde der Innenraum neu gestaltet, die Dachkonstruktion und die Deckung des Daches wurden verändert und auch andere, typisch gotische Elemente verschwanden. Anfang des 20. Jahrhunderts verfiel das Gebäude zur Ruine, wurde aber noch vor dem Krieg restauriert und zum Amtsgericht, einschließlich Dienstwohnung des Amtsrichters umgenutzt. Während des Zweiten Weltkrieges lebten hier Zwangsarbeiter und mit Ende des Krieges kam es zunächst in den Besitz des Landwirtschaftlichen Staatsbetriebes, danach der Zootechnologischen Versuchsanstalt.
In der zweiten Hälfte der 80er Jahre wurde das Abtshaus erneut restauriert. Heute beherbergt es die Gemeindebibliothek, ein Internet-Cafe und die Post. Das Objekt ist montags, mittwochs und donnerstags von 11 - 19:00 Uhr und dienstags und freitags von 09 - 18:00 Uhr zugänglich. An Wochenenden haben die hier tätigen Institutionen geschlossen.