Ze względu na duże obszary leśne Karsko stało się ulubionym miejscem myśliwych. Poskutkowało to zbudowaniem w 1624 roku przez Adama von Schwartzenberga dworu myśliwskiego z cechami obronnymi. Obecnie zameczek jest już ruiną. W połowie XVIII wieku właściciele Karska przeprowadzili się do zbudowanego obok barokowego dworu.
Barokowy dwór został zbudowany w 1755 roku z polecenia niezidentyfikowanego właściciela. Fasada budynku została skierowana ku wsi. Częściowo podpiwniczony, jednokondygnacyjny budynek z użytkowym poddaszem został nakryty mansardowym dachem z naczółkami. W osi fasady zaprojektowano płytki ryzalit, zwieńczony trójkątnym tympanonem. Na początku XX wieku nastąpiła przebudowa, podczas której dobudowano werandę i taras, a w zadaszeniu pojawiły się lukarny, umożliwiając użytkowanie poddasza. Elewacja została ozdobiona sztukateriami. Pierwotnie zaprojektowane wnętrze na skutek zniszczenia przez żołnierzy Armii Czerwonej i złodziei zachowane zostało w nikłym stopniu. Pozostały schody, część posadzek, dwa kominki z czerwonego marmuru, sztukaterie sufitowe, szafy ścienne i część boazerii. Obecnie dwór jest własnością prywatną. Można oglądać go z zewnątrz. Obok dworu rozciąga się park dworski.