Początki miasta Bytowa sięgają wczesnego średniowiecza, kiedy to istniał w tym miejscu gród. Wspomniany on został w kronice Galla Anonima z 1113 roki – łac. castrum nomine Bitom. Znajdował się on ok. 500 m. na zachód od dzisiejszego zamku i zwany był wówczas „Smolarnią“.
Cytat z samej kroniki-„Innym razem podobnie zdobył inny gród, zwany Bytom [Bytów], skąd nie mniej wyniósł sławy i pożytku, jak z tamtego. Albowiem wyprowadził stamtąd obfitą zdobycz i jeńców, a miejsce samo zamienił w pustynię.”