W lecie 1920 pełnił funkcję komisarza w Armii Czerwonej, a od września był studentem Akademii Sztabu Generalnego. W okresie od listopada do grudnia 1920 zorganizował masowe egzekucje białych oficerów na Krymie po klęsce armii gen. Piotra Wrangla. W latach 1920–1921 był szefem sztabu 79. Brygady, później dowódcą brygady, tłumiącej rebelię na dolnym Powołżu oraz antonowszczyznę. Jesienią został dowódcą 61. Brygady, prowadzącej walki z wojskami von Ungern-Sternberga.
Od 1922 pracował w sekretariacie Lwa Trockiego jako człowiek do zadań specjalnych. W latach 1924–1925 był asystentem pełnomocnika OGPU na Zakaukaziu, a następnie do 1926 pracował w Ludowym Komisariacie Handlu. W latach 1926–1927 główny instruktor wewnętrznego bezpieczeństwa państwa w Mongolii. Od 1928 do 1929 rezydent radzieckiego wywiadu na Bliskim Wschodzie.