Poważnym zagrożeniem, z którym mierzył się Izjasław, były ataki ze strony plemienia Połowców, które około 1054 przywędrowało w okolice stepów nadczarnomorskich. Pierwszy poświadczony źródłowo atak Połowców na Ruś miał miejsce w 1061. Ich powtarzające się napady podważały stopniowo zaufanie do władzy Izjasława. W 1068 nastąpił kolejny potężny rajd Połowców, naprzeciw którym stanęły połączone siły Izjasława i braci. Wojska Rusinów poniosły klęskę nad rzeką Ałtą, a Izjasław salwował się ucieczką do Kijowa. Wywołało to wzburzenie ludu Kijowa, który poprzez posłów zażądał od Izjasława, by ten wydał ludności broń i umożliwił jej w ten sposób obronę przed Połowcami. Wobec odmowy księcia, tłum uwolnił przetrzymywanego w Kijowie Wsiesława Briaczysławicza i osadził go na tronie, Izjasław zaś opuścił wraz z rodziną stolicę Rusi.