Warowny zamek wybudowano w XIII wieku, w okresie przedlokacyjnym miasta, tuż przy brodzie na rzece Redze. Miał on strzec komunikacyjnej i handlowej trasy znad morza na południe i ze Szczecina do Białogardu.
Zamek często zmieniał właścicieli – od biskupów kamieńskich odkupili go książęta brandenburscy, a po sekularyzacji zajęły go urzędy pruskie: podatkowy i katastralny, zbrojownia, sąd i więzienie.
Po 1945 roku znajdowała się tu siedziba szkoły rolniczej. W 1952 roku miał miejsce pożar, który doszczętnie zniszczył całą warownię. Po odbudowie i oddaniu do użytkowania w 1968 roku zamek został zaadaptowany na cele placówek kulturalnych. Obecnie znajduje się tu siedziba Świdwińskiego Ośrodka Kultury i Biblioteki Miejskiej, przy której mieści się całoroczne Centrum Informacji Turystycznej i Gospodarczej. W ostatnich latach ten najbardziej reprezentacyjny obiekt Świdwina przeszedł gruntowny remont.