Nazwa Herby (nadali ją kolejarze) wzmiankowana jest w dokumentach w1910 roku i pochodzi bezpośrednio od nazwy ważnego węzła kolejowego w miejscowości Herby koło Częstochowy. Powstanie osiedla Herby nierozerwalnie związane jest z budową linii kolejowej z Kielc do Częstochowy i dużej stacji kolejowej. Linia kolejowa biegnąca przez stacje: Częstochowa-Olsztyn-Koniecpol-Włoszczowa-Kielce została oddana do użytku w dniu 26.02.1911. Linię zelektryfikowano w 1974 roku. Kielce Herbskie w przeszłości były dużą stacją towarową, mającą kluczowe znaczenie dla obsługi towarowej na liniach kolejowych nr 8 i 61. Zapewniały obsługę ruchu lokalnego (pociągi z kamieniołomów), jak również obsługę trakcyjną (lokomotywownia wachlarzowa). W przeszłości na peronie znajdował się niewielki budynek stacyjny i kasa biletowa. Układ torowy stacji składa się z grupy przyjazdowo-odjazdowej, zlokalizowanej we wschodniej części stacji. Grupa tych torów umożliwia obsługę składów towarowych w obu kierunkach, przy czym część torów na kierunek zachodni może pełnić funkcję jedynie przyjazdową. Na wysokości tej grupy torów znajduje się peron przystanku Kielce Herbskie oraz grupa torów tranzytowych, a po jej drugiej stronie dość rozległa rampa ładunkowa.
Podczas poszukiwań zachowaj ostrożność, jest to teren PKP więc Służba Ochrony Kolei czuwa.