Pierwsze pochówki w tym miejscu miały miejsce przed sierpniem 1915 r., kiedy Rosjanie utworzyli tu tymczasowy cmentarz. Po zajęciu Białegostoku, Niemcy otoczyli teren wałem ziemnym, a od strony szosy zbudowali bramę o grubych kamiennych słupach i drewnianym daszku. Nad bramie umieszczono napis:
"GROSSERES KANN KEIN MENSCH GEBEN ALS FÜR DIE ANDEREN SEIN LEBEN".
Po prawej stronie głównej alei grzebano żołnierzy niemieckich, po lewej zaś stronie żołnierzy armii rosyjskiej. Groby rozmieszczano w rzędach po 15 grobów w kwaterze niemieckiej i po 10 grobów w kwaterze rosyjskiej. Na większości niemieckich mogił stały krzyże z danymi pochowanych żołnierzy. W okresie okupacji niemieckiej pochowano ogółem około 650 żołnierzy, w tym 375 żołnierzy armii niemieckiej i 280 rosyjskiej.
W 1917 r. Niemcy zbudowali na cmentarzu mauzoleum. Był tam umieszczony napis:
"HIER RUHEN DEUTSCHE UND RUSSISCHE • KRIEGER DIE • IN DEN JAHREN 1915, 1916, 1917 • FÜR IHR VATERLAND STARBEN".
W późniejszym już okresie, w tylnej części cmentarza, pochowano także kilku żołnierzy polskich. Po II wojnie światowej cmentarz był wykorzystywany przez NKWD i UB do pochówków rozstrzelanych i zamordowanych bojowników podziemia niepodległościowego. Niemiecki cmentarz wojskowy w Zwierzyńcu został zlikwidowany, a na jego części wzniesiono budynek rozgłośni radiowej. Podczas kopania fundamentów znajdowane szczątki wywożono w nieznane miejsce.