An der Stelle der heutigen Ruine bestand ursprünglich eine frühmittelalterliche Festung, die die Grundlage der heutigen Anhöhe bildete. Am 21. November 1286 überließ Herzog Przemysł II. von Großpolen und Krakau per Schenkungsurkunde dem Templerorden die Gebiete am Fluss Drawa und am Drawsko-See. Als Gegenleistung verpflichteten sich die Tempelritter, dem Herzog Schutz gegen die brandenburgischen Angriffe zu gewährleisten. Hauptstadt der Kommende wurde Czaplinek. 1312 löste Papst Clemens V. den moralisch und finanziell bankrotten Orden auf und seine Güter wurden von den Johannitern übernommen. 1407 eroberte König Władysław Jagiełło die Burg, da die Johanniter ihm feindlich gesinnt waren und durch ihre diplomatischen Maßnahmen sein Ansehen bei anderen europäischen Herrschern zerstörten. Außerdem unterstützen sie aktiv den Kreuzritterorden, einen Erzfeind Jagiełłos. Die ehemalige Kommende wurde in eine Starostei mit Sitz in der Burg Drahim umgewandelt. In der Zeit des polnisch-schwedischen Krieges wurden Stadt und Burg niedergebrannt. 1657 gelangte die gesamte Starostei wegen unbezahlter Schulden von Johann II. Kasimir unter brandenburgische Herrschaft. 1758 wurde die Burg während des russisch-preußischen Krieges letztendlich zerstört. Nach 1772 hatte zwar ein lokales Steueramt noch seinen Sitz in der Burg, doch ihre ursprüngliche Bedeutung konnte sie nie wieder erlangen.
Die Burg Drahim wurde wahrscheinlich von den Johannitern erbaut. Ursprünglich war nur eine hölzerne Befestigungsanlage an dieser Stelle geplant, doch bereits in den Jahren 1360 – 1366 entstanden die ersten Bauten aus Stein und Ziegelsteinen. Danach wurde eine Festung auf einem quadratähnlichen Grundriss errichtet. Sie wurde durch ein Tor in der Nordwand, eine hölzerne Zugbrücke, einen Wassergraben und die beiden Seen Drawsko und Żerdno als natürliche Hindernisse geschützt. Oben auf der Mauer wurde ein hölzerner Wehrgang errichtet, von dem aus eventuelle Gegner beschossen werden konnten. Im südlichen Teil der Burg befand sich das Wohngebäude, das zeitgleich mit der Wehrmauer errichtet wurde. Es handelte sich dabei um ein zweistöckiges Gebäude, das in Wirtschaftsräume im Erdgeschoss und Wohnräume im ersten Stock aufgeteilt war. An der Westmauer wurde später das einstöckige Haus des Starosten erbaut. Es stand in ca. 2 m Entfernung von der Mauer, die Sonne schien also auch von Westen rein. In der Ecke zwischen dem West- und dem Südflügel stand ein unterkellerter Holzschuppen, in den laut Inventurdokumenten „20 Tonnen Bier” passten. Auf der rechten Seite des Innenhofs, direkt am Tor, stand ein Wächterhäuschen. In der Mitte des Innenhofs gab es einen Brunnen. All diese Merkmale sind typisch für die Wehrarchitektur des Johanniterordens in Polen. Das einzige Detail, das die Burg Drahim von den anderen Johanniterburgen unterscheidet, ist der fehlende Turm. Womöglich war einfach das Geld dafür nicht vorhanden, doch die plausiblere Erklärung ist, dass die Burg auch so seine Wehrfunktion zufriedenstellend erfüllen konnte und der Turm überflüssig war. Als sich die Artillerie- und Belagerungstechnik entwickelte, wurde die Wehrmauer im 16. Jh. durch einen Ring aus Erdwällen verstärkt, der später mehrmals modifiziert wurde.
Bis heute sind Teile der Wehrmauer und des Wohn- und Wirtschaftsgebäudes erhalten geblieben. Die Ruine wird von einem Privatinvestor verwaltet; sie wurde mit dem Modell eines mittelalterlichen Dorfes, einer archäologischen Ausstellung und einer Aussichtsterrasse ausgestattet. In den Häusern des Dorfes befinden sich Stände mit Lebensmitteln und Handwerk.