W 1578 roku Stefan Batory pozwolił Żydom na osiedlanie się w królewskim mieście Augustowie (wcześniej Zygmuntowo). Prawdopodobnie już rok wcześniej powstała tu ich najwcześniejsza na całym obszarze Suwalszczyzny kolonia.
Społeczność żydowska była podzielona pod względem religijnym. Każdy odłam miał własny dom modlitwy. W 1860 roku w Augustowie żyło prawie 4 tysice Żydów, stanowiąc 45% ogółu mieszkańców. Na początku XX wieku w mieście istniało pięć synagog.
Podczas II wojny światowej, we wrześniu 1939 roku Augustów zajęły wojska sowieckie.
W czerwcu 1941 roku Augustów został zajęty przez wojska niemieckie. Tragiczne były losy augustowskich Żydów. Zaraz po zajęciu miasta Niemcy rozstrzelali prawie tysiąc Żydów w lesie nieopodal miejscowości Szczebra (na północ od Augustowa) - największym miejscu eksterminacji ludności żydowskiej na Suwalszczyźnie. Na miejscu kaźni znajdują się zbiorowe mogiły ofiar i płyta pamiątkowa.
W sierpniu 1941 roku w dzielnicy Baraki utworzono getto, do którego przemieszczano całą augustowską społeczność żydowską oraz Żydów z Lipska, Sztabina i innych pobliskich miejscowości. Wszyscy, bez względu na wiek, mieli narzucony administracyjnie nakaz pracy. Zmuszano ich do robót także w soboty i podczas świat żydowskich, depcząc w ten sposób ich tradycyjne uczucia religijne. Mogli poruszać się poza gettem tylko za okazaniem przepustki, przechodząc środkiem jezdni. Używano ich do rożnych czynności. Ich rękoma zostało zbudowane wzniesienie znajdujące się nad rzeką przy szkole nr 1.
Żydowski cmentarz został zniszczony, a nagrobków używano do brukowania ulic i chodników. W getcie panowały głód i choroby. Niektórzy mieszkańcy Augustowa, widząc tragiczne losy ludności żydowskiej, nieśli z narażeniem życia pomoc, która polegała na potajemnym dostarczaniu żywności, lekarstw, odzieży.
Jesienią 1942 roku nastąpiła deportacja Żydów do obozu w miejscowości Bogusze koło Grajewa, gdzie znajdowało się już 7 tys. Żydów z okolicznych gmin. W ciągu kilku tygodni zmarło tam około 1 700 osób.
2 listopada 1942 roku Niemcy przeprowadzili operację likwidacji getta w Augustowie. Wszystkich Żydów wywieziono do ośrodka zagłady w Treblince i do obozu koncentracyjnego Auschwitz-Birkenau. W chwili likwidacji w augustowskim getcie znajdowało się około 2 tys. Żydów.
Społeczność żydowską upamiętniają w Augustowie dwa cmenatrze stary oraz nowy. W okresie powojennym nekropolia ulegała postępującej dewastacji. Dopiero pod koniec lat 80. XX wieku teren cmentarza został uporządkowany i otoczony metalowym ogrodzeniem z bramą. Inwestycję tę sfinansowały organizacje, skupiające potomków augustowskich Żydów.
Skrzynka to mikrus schowany w ogrodzeniu.