W lecie 1939 roku chłopiec uczył się jeździć na swoim nowym rowerze i przygotowywał do pójścia do szkoły. Jego ojciec chciał, aby Henio uczył się hebrajskiego, żeby później wyjechać do Palestyny. Plany te udaremnił wybuch II wojny światowej.
Na początku wojny ojciec Henia, Szmuel, na pewien czas pojechał do Lwowa, starając się uzyskać zgodę dla rodziny na opuszczenie kraju. Próba ta zakończyła się niepowodzeniem, a on wrócił do Lublina. 24 marca 1941 Żytomirskim kazano opuścić mieszkanie na ul. Szewskiej 3 i przenieść się do getta, gdzie zamieszkali na ul. Kowalskiej 11. Szmuel został pracownikiem Judenratu i pracownikiem poczty w getcie. Ciotki Henia, Rachela i Estera, pracowały w getcie, a jego matka w domu. Dziadek Froim 10 listopada 1941 zmarł na tyfus. Przed śmiercią poprosił o pochówek w pobliżu bramy cmentarza, aby był „pierwszym, który zobaczy wyzwolenie Lublina”. Jednak w 1943 roku, podczas likwidacji cmentarza, grób i nagrobek Froima Żytomirskiego zostały zniszczone.
W nocy z 16 na 17 marca 1942 roku Niemcy rozpoczęli likwidację lubelskiego getta. Najprawdopodobniej do 20 kwietnia 1942 wszystkie kobiety z rodziny Żytomirskich zostały deportowane do obozu zagłady w Bełżcu w ramach Operacji Reinhard.