W 1674 roku został wybudowany drewniany kościół w Rajczy pod wezwaniem św. Wawrzyńca i św. Kazimierza królewicza. Do budowy kościoła przyczynił się ksiądz Wojciech Symelius, dziekan żywiecki oraz ksiądz Kazimierz Gałęski, jezuita. Poświęcenia kościoła dokonał, za zgodą biskupa krakowskiego Andrzeja Trzebnickiego, ksiądz Wojciech Symelius w dniu 8 maja 1674 roku. Obraz, zgodnie z życzeniem króla, został umieszczony w kościele w 1684 roku w bocznym ołtarzu. Wcześniej znajdował się najprawdopodobniej w kościele parafialnym w Milówce, pod który wspólnota rajczańska należała. Od początku obraz otaczano wielką czcią, był noszony w procesjach i pielgrzymkach m.in. do Rychwałdu i Żywca. W 1745 roku Karol Wielopolski, pan na Żywcu i Pieskowej Skale, ustanowił dla kościoła w Rajczy wikarego. W 1844 roku, decyzją biskupa Tarnowskiego utworzono w Rajczy samodzielną parafię, która liczyła ponad 12 tysięcy wiernych. W 1884 roku, ze względu na zły stan grożący zawaleniem zamknięto kościół, a nabożeństwa odprawiano w kaplicy w Ujsołach. Ówczesny proboszcz, ks. Andrzej Kulig przystąpił wraz z parafianami do budowy nowego, murowanego kościoła, który wzniesiono w latach 1886-1890. Dziś uchodzi on za największy kościół halowy w diecezji bielsko-żywieckiej. Obraz Madonny Częstochowskiej, podobnie jak w drewnianym kościele znalazł swoje miejsce w bocznym ołtarzu. Do głównego ołtarza obraz przeniesiony został w 1976 roku. Jednak szczególnego blasku nabrał po gruntowym malowaniu i odnowieniu kościoła w 2005 roku.