Zbudowany w XIV wieku na polecenie Kazimierza Wielkiego, we wschodniej części miasta, na skarpie nad doliną rzeki Warty. W średniowieczu jeden z największych zamków polskich. Do dziś zachowały się jedynie jego niewielkie pozostałości.
Podczas panowania Ludwika Andegaweńskiego w 1382 roku zamek zajęły oddziały węgierskie – miał to być zastaw na rzecz zięcia królewskiego, kandydata na tron krakowski Zygmunta Luksemburczyka. W 1383 zamek i stacjonujące w nim wojska węgierskie zostały oblężone przez rycerstwo księcia mazowieckiego Siemowita IV, który korzystając z wojny domowej między Grzymitami a Nałęczami wkroczył do Wielkopolski. Po krótkim oporze załoga węgierska skapitulowała na honorowych warunkach. W czasie tego oblężenia odnotowano po raz pierwszy na ziemiach polskich użycie broni palnej.
Na zamku jedenaście razy przebywał król Kazimierz Wielki i osiemnaście razy król Władysław II Jagiełło. Często też bywał na nim król Kazimierz Jagiellończyk.
Od połowy XV do 1 połowy XVI w., zamek stanowił oprawę wienną (zabezpieczenie posagu) polskich królowych: Zofii Holszańskiej, Elżbiety Rakuszanki i Bony Sforzy, z nadania których trzymali je królewscy starostowie. W I poł. XVI w. rozebrano południowy budynek zamkowy i południową kurtynę od strony klasztoru franciszkanów. Z gmachu tego pozostawiono jedynie północny mur magistralny, który pełnił odtąd funkcję południowego muru obwodowego. Przed 1628–1632 rokiem zamek został wyremontowany przez Adama Sędziwoja-Czarnkowskiego – wojewodę łęczyckiego i starostę pyzdrskiego. W 1676 zamek został zniszczony przez pożar. Po pożarze w 1768 zamek został prawie całkowicie rozebrany przez Prusaków podczas budowy więzienia w miejscu wschodniego pałacu królewskiego. W miejscu domu północnego zbudowano spichlerz, a w XX w. na miejscu domu północnego i części wschodniego pałacu wybudowano młyn elektryczny . Po 1959 na miejscu domu zachodniego wybudowano parterowy magazyn zakładów włókienniczych „Dziewiarka”