Po wojnie wrócił do Odessy i pracował nad Opowiadaniami odeskimi (pełne wydanie w 1931) – wspomnieniami z dzieciństwa, obrazie obyczajów rodzinnego miasta, poświęconym na wpół legendarnym żydowskim bandytom z osławionej dzielnicy Mołdawanka, nieopodal której urodził się i spędził część dzieciństwa. W 1919 ożenił się w Odessie z Jewgieniją Gronfejn.
W Moskwie Od 1923 mieszkał w Moskwie i przyjaźnił się z Ilją Erenburgiem. Żona Babla w 1925 wraz z córką Natalią wyemigrowały do Paryża, a rok później matka Babla i jego siostra przeniosły się do Brukseli.
W 1924 Babel opublikował kilka opowiadań z późniejszych cyklów Armia konna oraz Opowiadania odeskie w piśmie Majakowskiego „LEF”. W pierwszym zbiorze Babel opisał swoje doświadczenia z wojny polsko-bolszewickiej, ukazując okrucieństwo Armii Czerwonej. Pełne wydanie Armii konnej w 1926 napotkało na protesty Budionnego, który nazwał twórcę degeneratem od literatury. Pisarzowi pomógł Maksim Gorki, którego Babel był protegowanym. Dzięki temu książka nie została zakazana przez cenzurę i przetłumaczono ją na języki obce.
Kiedy rozpoczęły się stalinowskie prześladowania, Babel, pomimo sukcesów z początku lat 30., przestał publikować i zaczął pisać „do szuflady”.