Po niespodziewanym uderzeniu Niemców na Związek Radziecki, Szosą Żółtkowską (obecna ulica Zwycięstwa) w Białymstoku, od dworca kolejowego w kierunku Choroszczy ciągnęły kolumny wystraszonych jeńców sowieckich.
Obóz zajmował 20 hektarów, był ogrodzony podwójnym płotem z drutu kolczastego. Ten płot powstawał etapami. Przez kilka pierwszych miesięcy zgłodniali i bardziej odważni jeńcy sowieccy, po zapadnięciu zmroku, przekradali się przez park do najbliżej położonych zabudowań we wsi Żółtki, żebrząc o jedzenie. Wieczorem nie można było nakarmić trzody chlewnej, bo zza węgłów chlewa niczym duchy, wyłaniali się jeńcy w łachmanach i w mig z wiader wszystko wyjadali.
Warunki w obozie były tragiczne. Więźniowie umierali masowo. Ciała składano w pomieszczeniach kirchy, zamienionej przez Niemców w kostnicę. Każdego dnia, oprócz niedziel i świąt o godzinie 12 zamykano drogę biegnącą od szosy warszawskiej w Żółtkach do kirchy i kondukt wychudłych postaci niósł nagie zwłoki na noszach kilkaset metrów do miejsca przy polnej drodze. Tam jeńcy zrzucali ciała swoich towarzyszy do wielkich rowów. W poniedziałki, zwłaszcza zimą, kiedy trzeba było pochować ponad 200 zmarłych, droga była zamknięta nieraz do późnego wieczora.
Szacuje się, że do 1 sierpnia 1943 r. w obozie z powodu ran, głodu, chorób i chłodu zmarło ponad 7 tys. osób.
Po raz pierwszy krzyż ku ich czci stanął na tym cmentarzu w 1984 r. z inicjatywy Jana Adamskiego, wówczas wiceprezesa Towarzystwa Przyjaciół Choroszczy, przy współudziale rodziny i najbliższych przyjaciół.