W 1921 r. w Rajczy, na 2798 mieszkańców były 132 osoby wyznania mojżeszowego, z czego tylko 2 podawały narodowość żydowską. Dzieci żydowskie chodziły do szkoły powszechnej, ale duża część uczęszczała po południu na lekcje religii mojżeszowej w prywatnych domach. We wsi istniało kilka organizacji i stowarzyszeń żydowskich. Zmarłych żydów chowano na cmentarzu żydowskim w pobliskiej Milówce. W latach międzywojennych często przyjeżdżał tu tworzyć swoje pejzaże malarz żydowskiego pochodzenia, zamieszkały w Bielsku, Jakub Glasner.
W okresie międzywojennym w miejscowości stacjonował komisariat Straży Granicznej i placówka II linii SG „Rajcza”. W kwietniu 1939 r. została sformowana 3 Kompania Obrony Narodowej "Rajcza", wchodząca w skład Żywieckiego Batalionu ON.
2 września 1939 r. Rajczę zajęły wojska niemieckie. 8 października 1939 r. Rajczę wraz z całą Żywiecczyzną wcielono do III Rzeszy. Niemcy jeszcze jesienią 1939 r. spalili żydowską bożnicę, a jej ruiny kazali rozebrać. W tym samym czasie przeprowadzili rejestrację wszystkich tutejszych żydów. Przesiedlono ich na teren dawnego pałacu, gdzie utworzono obóz pracy przymusowej. Pracowali oni przy rozbiórce domów w Rycerce Dolnej. W styczniu 1940 r. okupanci nakazali Żydom noszenie białych opasek z niebieską gwiazdą Dawida.