Pierwsza wzmianka o miejscowości pochodzi z 1344 roku. Nazwa jej brzmiała ówcześnie Kertzendorf. Jej właścicielem był wtedy Czambor de Kertzendorf, pozostający w służbie u księcia Konrada. Początkowo osada miała kształt ulicówki, z biegiem czasu ulegała jednak zmianom. Najbardziej zauważalną zmianą stał się rozrost ulicówki w wieś o kilku ulicach, zwaną powszechnie wielodrożnicą. Przez lata miejscowość kilkakrotnie zmieniała nazwę: w 1480 roku - Ketzerdorf, w 1523 roku -Katzendorf, a w 1712 - na mocy dokumentu wydanego przez cesarza Karola VI zmieniono tę nazwę na Carlsmafkt. Obecna nazwa - Karłowice pochodzi od określenia Karzeł. Przypuszczalnie przed połową XIV wieku wzniesiony został w Karłowicach niewielki obronny zameczek otoczony nawodnioną fosą. Zamek był w posiadaniu rodów von Tschammer, a od 1440 roku stanowił własność rodziny von Bees, której nagrobki znajdują się na wiejskim cmentarzu. Około połowy XVI wieku, po wymarciu rodu von Bees, Karłowice przypadły w spadku książętom brzeskim. W 1675 roku, to jest po śmierci ostatniego Piasta brzeskiego księcia Jerzego Wilhelma Karłowice otrzymały status cesarsko-królewskiego ziemskiego majątku państwowego.

Za panowania cesarza Karola, ostatniego potomka dynastii Habsburgów, w 1712 roku Karłowice uzyskały prawa targowe i podniesione zostały do rangi tak zwanego miejsca targowego, to jest miasteczka. Wyjaśnić tu należy, iż miejsca targowe były opodatkowane na równi ze wsiami, jednakże ich meszkańców zaliczano do mieszczan. Miasteczko Karłowice nie zostało obwarowane i posiadało niemal charakter rolniczy. Ludność żyła tu głównie z rolnictwa, ponadto zajmowała się spławem drewna i pszczelarstwem, sporadycznie tylko rzemiosłem i handlem.

W 1840 roku w Karłowicach naliczono 78 domów, 80 stajni i obór; 547 osób ( w tym 62 katolików, 8 Żydów), 18 rzemieślników. W tymże roku funkcjonował tu kościół katolicki z 1715 roku oraz ewangelicki filialny, należący do parafii Kurznie. Do Karłowic należała wówczas kolonia Kaltberg (dzisiejsze Karłowiczki) oraz młyn wodny zwany „Erlmuhle" lub „Pilzmuhle". W latach osiemdziesiątych XIX wieku Karłowice liczyły już około 1100 mieszkańców. Odbywał się tu spław drewna rzeką Stobrawą do Odry, rozwijało się wzorowe pszczelarstwo bazujące na osiągnięciach księdza Jana Dzierżona (1811-1906), eksploatowano miejscowe pokłady wapienia oraz organizowano jeden jarmark. Status miasteczka Karłowice utraciły przed 1939 rokiem.

Piastowie, popierając kolonizację niemiecką na Śląsku, poddali te tereny silnym wpływom niemczyzny. Systematycznie prowadzona germanizacja doprowadziła w drugiej połowie XIX wieku do zupełnego wynarodowienia ludności polskiej na tym terenie. Karłowice do roku 1945 zamieszkiwała w większości ludność niemiecka. Wioska została wyzwolona 22 stycznia 1945 roku. Do wyludnionej wioski w czerwcu 1945 roku napłynęła ludność z terenów wschodnich i z Polski centralnej

UWAGA. Na logbooku znajduje  się litera z liczbą, niezbędną do odnalezienia skrytki finałowej Karłowice Zamek. Zapisz ją koniecznie.