Zakon cystersów został sprowadzony do Kołbacza pod koniec XII wieku. W latach 1210-1347 dzięki zakonnikom we wsi wzniesiono takie budynki jak klasztor, kościół, obiekty gospodarcze i fortyfikacje.
Do zachodniej strony kościoła przylega skrzydło, zwane także domem konwersów. Konwersami byli bracia zakonni, bez święceń, których głównym zadaniem nie były modlitwy, ale praca fizyczna. Konwersi często byli przeznaczeni do ciężkich prac, zazwyczaj także nie mieli prawa uczestniczyć w pełnym życiu zakonu.
Dom Konwersów został wybudowany w XIII wieku, a następnie przebudowany XVII i XVIII wieku. Budynek jest niski, w ścianach odnajdziemy niewielkie okna. W dolnej partii budowli utworzono kamienny mur, całość jest wzniesiona z czerwonej cegły.
Najprawdopodobniej w fundamentach domu mieściły się pomieszczenia, które służyły do przechowywania produktów spożywczych. W wyżej części domu mieścił się refektarz konwersów.
W latach 70. XX wieku dom został odrestaurowany. Miejscowy rolny Zakład Doświadczalny, który zajął się modernizacją obiektu dobudował piętro, przybudówkę i całość przeznaczył na restaurację. W obiekcie zachował się stary piec do wypieku chleba. Interesująca jest także "wiecznie wilgotna ściana" jednego z pomieszczeń. W Kołbaczu znana jest legenda, która wyjaśnia fenomen „płaczącej ściany”.
Według niej, niegdyś w oddalonym o kilka kilometrów Dąbiu mieszkał osierocony chłopiec, którego przygarnął młynarz. Dziecko było wykorzystywane do najcięższych prac przy młynie. Ale gdy chłopiec ze wzajemnością zakochał się w córce właściciela majątku, został przez niego pobity i wyrzucony z gospodarstwa. Nieszczęśliwie zakochany chłopak trafił do Kołbacza, do zakonu cystersów. Po kilku latach wraz z braćmi zakonnymi młodzieniec powrócił do Dąbia, ale jego spotkanie z ukochaną skończyło się jak za pierwszy razem. Chłopak został ponownie pobity. Po tym zdarzeniu, po powrocie do klasztoru mężczyzna zamknął się w swej celi, bez woli dalszego życia. Podobno został pochłonięty przez ścianę, która do dziś jest mokra od jego łez.
Obecnie budynek należy do Akademii Rolniczej w Krakowie, która dzierżawi go na cele restauracyjne. Obok budynku odnajdziemy głaz z tablicą upamiętniającą „40-lecie powrotu Pomorza Zachodniego do macierzy”. Dom konwersów został wpisany na listę zabytków wraz z gotycką stodołą i basztą więzienną w 1955 roku.