Wiosną 1925 zostało wobec niego wszczęte śledztwo GPU, zabroniono mu opuszczać Ibriesi i brać udział w działalności czuwaskich parafii. W tym samym roku za zgodą GPU udał się do Ałatyr, jednak już dzień po przybyciu został aresztowany i przewieziony do Symbirska. W listopadzie 1925 został uwięziony w Czeboksarach, opuścił więzienie po podpisaniu zobowiązania o niewyjeżdżaniu z miasta; zamieszkał jednak w Ałatyrze.
Po związaniu się biskupa Wissariona (Zorina) z rozłamem grigoriewskim zastępca locum tenens Patriarchatu Moskiewskiego metropolita Sergiusz mianował go locum tenens eparchii symbirskiej. W 1926 biskup Herman został jednak aresztowany i skazany na trzyletnią zsyłkę. W miejscach zesłania był kolejno mianowany biskupem bugulemskim, wikariuszem eparchii samarskiej (1926–1927), biskupem bugurusłańskim, wikariuszem eparchii orenburskiej (1927–1928), kuźnieckim, wikariuszem eparchii tomskiej (1928). W listopadzie 1930 zamieszkał w Omsku i został biskupem omskim. Od lipca do września 1931 był biskupem nikolsko-ussuryjskim, następnie od września 1931 do kwietnia 1932 – biskupem barnaułskim, locum tenens eparchii bijskiej. W 1932 został aresztowany w Bijsku, pod zarzutem głoszenia antyradzieckich kazań.