Bis in unsere Zeiten erhaltene Zeugen der mittelalterlichen Baukunst Dramburgs sind die Reste der Stadtmauer. Diese Mauer wurde ab dem Beginn des 14. Jahrhunderts aus Feld- und Backsteinen errichtet und umgab die gesamte Stadt mit einem dichten Ring. Drei Tore führten in die Stadt hinein, von Norden das zuletzt, erst in der ersten Hälfte des 17. Jahrhunderts errichtete Neue Tor, von Westen das Hohe Tor und von Süden das niedrigste der Tore. An den Ecken der Stadtmauer standen vier Türme, die wahrscheinlich quadratischen Grundrisses waren. Die Mauern waren an ihren Flanken durch weitere Türme verstärkt. Auf der Nordseite waren es sechs, im Osten zwölf, im Süden wahrscheinlich acht und im Westen wohl elf oder zwölf Türme. Zusätzlich wurde die Stadt durch Wälle und Wassergräben geschützt. Letztere wurden durch die Wasser der Drage gespeist. Dazu wurde im 14. Jahrhundert extra ein Kanal zur Drage angelegt, der sich bis heute erhalten ist und weiterhin Wasser führt. Auf Beschluss des Rates der Stadt wurde am Ende des 18. Jahrhunderts mit der stückweisen Abtragung der Stadtmauern begonnen, was während des gesamten 19. Jahrhunderts andauerte. Im Jahre 1916 entstand ein Entwurf die noch vorhandenen Reste zu konservieren, entstandene Lücken aufzufüllen, die hölzernen Umgänge zu rekonstruieren. Aus uns heute unbekannten Gründen wurde dieses Projekt nie ausgeführt.
Bis heute haben sich von der einst 1720 m langen Stadtmauer zwei Fragmente erhalten. Das eine in der Cmentarna Straße ist aus Backstein und Steinen erbaut und besitzt eine Länge von etwa 10 m und eine Höhe von 2 m. Das zweite erhaltenen Stück liegt an der Drage in der Obrońców Westerplatte Straße 13 und ist auf einer Länge von 15 m aus Feldsteinen errichtet. Beide Fragmente stehen heute unter Denkmalschutz und an beiden Plätzen finden sich erklärende Tafeln, die auch die ursprüngliche Form der Stadtmauer darstellen.