16 marca 1934 zmarł w Tel Awiwie jego brat Ernst. Po śmierci Ernsta Leo udał się z krótką wizytą do Palestyny odwiedzając swoją bratanicę Theę. W 1935, w ciągu dwóch lat od przejęcia władzy przez Hitlera, około dwudziestu pięciu tysięcy niemieckich Żydów opuściło ojczyznę, wyjechały także trzy córki Leo. Eva była na kursie w Holandii, Hannah w szkole rolniczej na Litwie, Gretel była w Londynie nauczycielką. Leo Levy z godnością znosił kolejne ciosy: odebranie zakładów wapienniczych w Grzmiącej, gospodarstwa w Buślarkach, a potem przejęcie tartaków w Kołaczu, w Trzebcu (niem. Neuhof) oraz w Świerczynie. Leo Levy do końca starał się być lojalnym obywatelem państwa niemieckiego. Nawet kiedy naziści przejęli władzę w Niemczech, wciąż wierzył, że Hitler długo nie przetrwa.
W 1938 towarzyszył swojej trzeciej córce Evie w drodze do Palestyny. Mimo ostrzeżeń najbliższych i propozycji Siegfrieda pozostania w Szwajcarii, wrócił 7 listopada 1938 do Połczyna-Zdroju, do końca uważając Niemcy za swoją ojczyznę.