Według Paula Niessena – niemieckiego historyka już w średniowieczu planowano założenie w Chełmie miasta. Z czasem plany zostały zaniechane, a wieś podzieliła się na dwie mniejsze – Chełm Dolny i Chełm Górny.
W centralnej części wsi odnajdziemy XIII-wieczny kościół z ciosów granitowych, naprzeciwko świątyni znajduje się duży kompleks zabudowań pofolwarcznych, a dalej, nad jeziorem rozciąga się 7-hektarowy park krajobrazowy.
Na przykościelnym terenie odnajdziemy XIX-wieczne mauzoleum rodziny von Trescow. Z obiektem związana jest ciekawa historia Henninga von Trescow. W 1944 roku generał major Wermachtu został pochowany w obiekcie, by miesiąc później ekshumowano go i spalono w krematorium obozu koncentracyjnego w Sachsenchausen. Von Trescow był jednym ze spiskowców, którzy próbowali w 1944 w Kętrzynie dokonać zamachu na Adolfa Hitlera. Po nieudanej próbie, aby uniknąć aresztowania von Trescow następnego dnia, w pobliskim Królowym Moście popełnił samobójstwo, pozorując śmierć z rąk partyzantów.
Generał został pochowany z honorami w rodowej kaplicy w Chełmie Dolnym, ale miesiąc później, po zakończeniu śledztwa w sprawie zamachu na dyktatora ciało Von Trescow zostało spalone w krematorium obozu.
Obiekt wraz z lapidarium i obeliskiem postawionym na cześć poległych mieszkańców Chełma Dolnego w I wojnie światowej, został wpisany na wojewódzką listę zabytków w grudniu 2005 roku.