W wygranym październikowym meczu z Recreativo Huelva (2:1) zdobył pierwszego gola w lidze, a od końca sezonu jeszcze trzykrotnie trafiał do siatki rywali. Bilbao zajęło wówczas 7. pozycję w lidze. W sezonie 2003/2004 doprowadził Athletic do 5. miejsca i tym samym w sezonie 2004/2005 wystąpił w rozgrywkach Pucharu UEFA i awansował ze swoim klubem z grupy (zdobył łącznie 2 gole: z Trabzonsporem i Parmą). W lidze uzyskał 4 trafienia i z Bilbao zajął 9. miejsce w La Liga. W sezonie 2005/2006 zakończył sezon na 12. pozycji.
31 lipca 2006 roku Gurpegi został zdyskwalifikowany na 2 lata przez Hiszpańską Federację Piłkarską za stosownanie niedozwolonego środka - nandrolonu. Athletic nie rozwiązało jednak kontraktu z piłkarzem i przez kolejne 2 sezony widnieje on w składzie drużyny i ma przydzielony numer
1 lipca 2016 Gurpegi zakończył karierę i został asystentem Ernesto Valverde w Athletic Bilbao..