Służbę wojskową zakończył 31 grudnia 1985 r., po czym powrócił do Fakiełu Woroneż. W 1987 roku postanowił przenieść się do Spartaka Moskwa, w którym z powodzeniem grał przez 5 lat, dwukrotnie stając się mistrzem ZSRR. W finałowym meczu o mistrzostwo 1989 roku w ostatniej chwili zdobył "złoty gol" w meczu z Dynamem Kijów, a w 1990 roku zdobył wraz z Ołehiem Protasowym tytuł króla strzelców mistrzostw.
W 1991 roku wyjechał do Niemiec, gdzie przez trzy sezony bronił barw Karlsruher SC. Na początku występował w ataku, a potem po lewej stronie w środku pola. Dzięki jego podaniom często zdobywał bramki Siergiej Kirjakow. W trzecim sezonie trener Winfried Schaefer umieścił Szmarowa na pozycję w defensywie, co w efekcie doprowadziło do odejścia zawodnika z zespołu. W 1995 roku przeniósł się do Arminii Bielefeld, która akurat awansowała z regionalnej Oberligi do Bundesligi 2.
Latem 1995 piłkarz zdecydował na powrót do Rosji. Spartak Moskwa wykupił transfer od Karlsruher SC. Sezon 1995 w Spartaku okazał się dla Szmarowa udanym: 16 goli w 20 meczach (trzecie miejsce w klasyfikacji strzelców).