Po dojściu hitlerowców do władzy nasiliły się wystąpienia antysemickie. Zmusiły one do wyjazdu Żydów z Białej do większych miast (Królewiec, Berlin) lub imigracji, głównie do Holandii.
Od 1938 do 1945 Do 1938 roku nosiło oficjalną niemiecką nazwę administracyjną Bialla. 16 lipca 1938 roku w ramach germanizacji nazw dekretem będących u władzy niemieckich nazistów przemianowana na Gehlen, po czym na Gehlenburg. 4 września 1939 roku samotny polski samolot Karaś z 51 eskadry rozpoznawczej ostrzelał i obrzucił na miejscowym dworcu bombami niemiecki pociąg przewożący uzbrojenie i sprzęt wojskowy.
Po 1945 Po zakończeniu II wojny światowej Biała Piska została włączona do Polski. Do 1946 roku była siedzibą powiatu piskiego. Zniszczenia wojenne miasta wyniosły 30%. Zamieszkująca dotychczas Białą Piską ludność niemiecka została wysiedlona na zachód, a na ich miejsce osiedlano Polaków wysiedlonych z Kresów (głównie z Wileńszczyzny, Grodzieńszczyzny i Polesia) oraz polskich osadników głównie z pobliskiego Mazowsza, a także Podlasia i Suwalszczyzny.
W latach 1954–1972 miasto był siedzibą władz gromady Biała Piska, ale nie należało do niej.