W miejscu istniejących ruin istniało pierwotnie wczesnośredniowieczne grodzisko, które dało podstawę obecnie widocznemu wzniesieniu z zabudowaniami zamku. 21 listopada 1286 roku książę Wielkopolski i Krakowa Przemysł II wystawił przywilej nadający zakonowi templariuszy tereny położone w okolicach rzeki Drawy i jeziora Drawsko. W zamian zakonnicy zobowiązali się do zapewnienia Przemysłowi skutecznej ochrony przed narastającą ze strony Brandenburgii agresją. Siedzibą komandorii zakonu został Czaplinek. W roku 1312 papież Klemens V rozwiązał skompromitowany finansowo i obyczajowo zakon templariuszy. Skutkiem tego było przejęcie majątku templariuszy przez zakon joannitów. W roku 1407 zamek został odbity z rąk joannitów przez wojska Władysława Jagiełły, który kazał zdobyć warownię w ramach działań prewencyjnych. Joannici bowiem stali się wrogami króla polskiego, czyniąc mu swoimi zabiegami dyplomatycznymi wizerunkowe szkody na europejskich dworach. Ponadto joannici aktywnie wspierali zakon krzyżacki co było wystarczającym powodem do interwencji. Z dawnej komandorii utworzono starostwo, którego siedzibą stał się Drahim. W latach potopu szwedzkiego miasteczko i zamek uległy spaleniu. W roku 1657 starostwo wraz z zamkiem przeszło na własność Brandenburgii. Stało się to na skutek niespłacenia zastawu, którego dokonał Jan Kazimierz. W 1758 roku podczas wojny prusko - rosyjskiej zamek został definitywnie zniszczony. Co prawda po 1772 roku pełnił jeszcze funkcję siedziby podatkowego urzędu ziemskiego, lecz nie była to już jego pierwotna rola.
Budowę zamku przypisuje się zakonowi joannitów. Początkowo miały powstać jedynie drewniane obwarowania, jednak już w latach 1360-1366 przeprowadzono prace w wyniku których powstały kamienno-ceglane budowle. Po ich zakończeniu powstała warownia o czworoboku zbliżonym do kwadratu. W północnym murze znajdowała się brama wjazdowa, którą dodatkowo zabezpieczały fosa z drewnianym mostem zwodzonym oraz naturalne rozlewiska jezior Drawsko i Żerdno. Koronę muru wieńczył drewniany ganek, z którego można było podczas oblężenia ostrzeliwać przeciwnika. W południowej części zamku znajdowało się skrzydło mieszkalne, wzniesione równocześnie z murami obronnymi. Był to budynek dwukondygnacyjny. Parter pełnił funkcję gospodarczą, a piętro mieszkalną. Przy murze zachodnim wznosił się zbudowany później jednopiętrowy dom starosty. Od muru dzieliła go dwumetrowa przestrzeń, dzięki czemu dom uzyskiwał światło także od strony zachodniej. W narożniku między skrzydłem południowym a zachodnim stała podpiwniczona szopa drwalnia. Według inwentarzy lustracyjnych mogła pomieścić „20 ton piwa”. Tuż przy bramie wjazdowej, po prawej stronie na dziedzińcu zamkowym, ulokowana została wartownia. Na środku dziedzińca wydrążono studnię. Wszystkie te zabudowania zamku Drahim są charakterystyczne dla budownictwa obronnego, które pozostawili po sobie na ziemiach polskich joannici. W zasadzie jedynym elementem wyróżniającym zamek Drahim jest brak wieży. Archeolodzy domniemują, że nie powstała w wyniku braku funduszy. Bardziej prawdopodobnym jest, że pozostałe walory obronne były wystarczające do spełniania oczekiwań jakie joannici postawili warowni. Rozwój artylerii i sztuki oblężniczej wymusił w XVI wieku wzmocnienie obronności zamku poprzez usypanie pierścienia fortyfikacji ziemnych, które były później kilkakrotnie modyfikowane.
Do naszych czasów zachowały się w różnym stopniu mury obwodowe oraz część murów domu gospodarczo-mieszkalnego. Teren zamku został zagospodarowany przez prywatnego inwestora. Udostępniono na nim zrekonstruowaną średniowieczną osadę, wystawę archeologiczną oraz platformę widokową. W chatach ulokowano stragany z jedzeniem i wyrobami rzemieślniczymi.