Stoi na miejscu dawnego zamku włocławskiego. Murowany zamek został w miejscu grodu obronnego z X-XII wieku, z wykorzystaniem murów zamku: książęcego z XIV wieku, a później biskupiego do XVIII wieku z całkowitą przebudową w 1861 r. w charakterze klasycystycznej rezydencji.W pierwszej połowie XIX wieku urządzono w nim szpital dla żołnierzy Napoleona, potem był siedzibą szkoły. W roku 1858 wrócił do biskupów, którzy w roku 1861 gruntownie go przebudowali. Budowla uzyskała charakter klasycystyczny. W 1925 r. odbudowany po spaleniu w 1920 r. na siedzibę kurii i rezydencji biskupa. W trakcie badań archeologicznych w latach 1989-1993 odkryto m.in. zamkowy mur obwodowy od strony zachodniej i relikty baszty znanej z rysunku A. Boota z 1632 r.