Inicjatorem założenia Akademii Rycerskiej był elektor brandenburski Fryderyk Wilhelm I. Pomysł był ściśle powiązany z uznaniem w 1653 roku Kołobrzegu za miasto forteczne. Na sejmie pomorskim, który odbył się w 1654 roku, idea powstania akademii została wcielona w życie. Organizatorem i pierwszym komendantem był gubernator Kołobrzegu pułkownik Bogusław von Schwerin. Kierował on szkołą w latach 1655-1678. Od początku ideą akademii było kształcenie przyszłych oficerów armii. Szkoła była przeznaczona dla chłopców w wieku 15-16 lat. Oczywiście musiała być to młodzież pochodzenia szlacheckiego, choć zdarzały się przypadki przyjmowania potomków bogatych rodów mieszczańskich. W programie nauczania były: musztra, jazda konna, szermierka, podstawy budowy fortyfikacji, matematyka, nauka języka francuskiego, taniec. Akademia początkowo cieszyła się sporym zainteresowaniem, jednak stopniowo ono malało. W 1701 roku, na skutek braku kandydatów szkoła została rozwiązana. W 1703 roku reaktywowano ją pod nazwą Szkoły Kadetów, jednak już w 1716 roku ponownie zamknięto.
Dwukondygnacyjny budynek został wzniesiony w stylu renesansu florenckiego. Zaprojektowano go na rzucie prostokąta. Elewacje zdobią boniowane ściany i wysunięty gzyms, wsparty na kroksztynach. Budowla pierwotnie była nakryta kopertowym dachem. Na skutek działań ostatniej wojny budynek akademii uległ poważnemu uszkodzeniu. Zawalił się dach i pierwsza kondygnacja. W latach 50-tych w ruinach funkcjonowało panoramiczne kino letnie. W późniejszym czasie gmach został odbudowany jako sala sportowa Miejskiego Ośrodka Sportu i Rekreacji. W zabytkowych podziemiach działa restauracja.