Seit 1. Hälfte des 13. Jhs. gehörte Swobnica und seine Umgebung zum Templerorden, der sein Hauptsitz im Dorf Rurka hatte. Nach der Auflösung des Templerordens im Jahre 1312 wurde ihr Vermögen von Johannitern genommen. Johanniter hatten aber einen Konflikt mit den Bewohnern von Rurka und den Rittern aus der Umgebung, deshalb müssten sie nach Swobnica umziehen.
Nach den Erfahrungen in Rurka entschieden Johanniter ein Schutzgebäude zu bauen. 1377 hatten sie die Erlaubnis. Schloss in Swobnica wurde am Ende des 14.Jhs. erbaut. Dieses Backstein-Gebäude wurde im viereckigen Grundriss erbaut und von Mauern (15m lang) eingeschlossen. Es gibt zusätzlich einen Turm (35m) neben dem Tor, der die Befestigung verstärkt.
Nach dem dreißigjährigen Krieg wurde das Schloss von Schweden übernommen. 1680 kaufte ihn Ehefrau des Kurfürsts von Brandenburg. Auf ihre Empfehlung wurde Schloss in eine barocke Jagdresidenz mit drei Flügeln umgebaut. Während des Umbaus wurde westlicher Teil der Mauer mit dem Tor abgebrochen. In den anderen Teilen der Mauer wurden Fensteröffnungen zusätlich gemacht. Neue Besitzer behalten die Backsteinfassade und den Turm, zu dem wurden die zusätzlichen Treppen vom Hof zugebaut. Früher konnte man auf den Turm nur aus dem Schießgang (in 16m Höhe) hinaufgehen. Das Schloss war ein Eigentum von Hohenzollern bis 1945.
Nach dem 2. Weltkrieg wurde das Schloss bestohlen. Später wurde es auch noch vielmals von den „Schatzgräber“ verwüstet, die u.a. Löcher in Kamin zu bohren versuchten.
In der Zeit Volksrepublik Polen (PRL) war das Schloss ein Sitz von der Landwirtschaftlichen Produktionsgenossenschaft (PGR), die da erst ihre Büros und dann ihr Speicher hatte. 1993 wurde das Schloss von einem Privatinvestor aus Belgien gekauft, der es zu restaurieren versprach. 2008 stürzte der älteste Flügel eines Schlosses ein. 2011 gelangte das Schloss in das Eigentum der Gemeinde Banie. Ein Jahr später wurden östlicher Flügel und Dach restauriert. 2013 endete die Überholung des Turms.
Das Schloss ist vom Park (2,5ha) mit großem Baumbestand aus 19. Jh. umgeben. Das Schloss ist seit 1957 auf einer Liste der Denkmäler. Seit August 2009 besteht ein Verein Zamek Swobnica (Schloss Wildenbruch), den Hauptziel ist, Schloss zu restaurieren.