Od pierwszej połowy XIII wieku Swobnica wraz z okolicznymi terenami należała do zakonu templariuszy, którzy swą główną siedzibę mieli we wsi Rurka. Po likwidacji zakonu w 1312 roku majątek templariuszy został przejęty przez jonitów, którzy przez konflikt z mieszkańcami Rurki i okolicznym rycerstwem byli zmuszeni opuścić przejęty majątek w Rurce i przenieść się do pobliskiej Swobnicy.
Czerpiąc doświadczenia z Rurki zakonnicy zdecydowali się wznieść bardziej obronny obiekt. W 1377 roku joannici mieli już pozwolenie na budowę. Zamek w Swobnicy został wybudowany pod koniec XIV wieku. Ceglana budowla została stworzona na planie kwadratu i otoczona 15-metrowym murem, dodatkowo przy bramie postawiono 35-metrową wieżę, która wzmocniła fortyfikacje majątku.
Po wojnie trzydziestoletniej zamek został przejęty przez szwedów, a w 1680 roku obiekt kupiła żona elektora brandenburskiego. Na jej polecenie budowla została przebudowana w trzyskrzydłową, barokową rezydencję myśliwską. W czasie modernizacji obiektu rozebrano zachodni odcinek muru obronnego, wraz z bramą, zaś w pozostałych częściach utworzono otwory okienne. Mimo remontu nowi właściciele zachowali ceglaną elewację oraz wieżę – do której doprowadzono schody z poziomu dziedzińca (wcześniej wejście na wieżę było możliwe jedynie z ganku strzelniczego, który znajdował się na wysokości 16 metrów). Zamek pozostał w rękach Hohenzollernów do 1945 roku.
Po zakończeniu II wojny światowej zamek został okradziony, w późniejszym czasie obiekt był wielokrotnie dewastowany przez „poszukiwaczy skarbów”, którzy m.in. przebijali kominy w zamku. W czasie PRL zamek pełnił funkcję siedziby PGR, które najpierw miało tutaj swoje biura, a następnie utworzyło w zamku spichlerz. W 1993 roku obiekt został kupiony przez prywatnego inwestora z Belgii, który miał go wyremontować. W 2008 roku zawaliło się najstarsze skrzydło obiektu. W 2011 roku gmina Banie odzyskała zabytek, rok później wyremontowano wschodnie skrzydło zamku i dach. W 2013 roku zakończył się remont wieży.
Zamek jest otoczony 2,5 ha parku krajobrazowego z XIX wieku, z bogatym drzewostanem. Na liście zabytków zamek jest od marca 1957 roku. Od sierpnia 2009 roku działa Stowarzyszenie Zamek Swobnica, którego głównym zadaniem jest odratowanie zabytku.