W 2002 został przewodniczącym nowo powołanej Unii na rzecz Ruchu Ludowego.
Na początku 2004 za nadużycia w publicznych funduszach z okresu kierowania gaullistami został w pierwszej instancji skazany na karę 18 miesięcy pozbawienia wolności z warunkowym zawieszeniem jej wykonania. Orzeczono także pozbawienie prawa do piastowania urzędów publicznych przez 10 lat. Były premier złożył apelację od tego wyroku, zrezygnował jednak z przewodniczenia UMP, urzędu burmistrza i mandatu poselskiego. Pod koniec 2004 sąd odwoławczy zmniejszył karę pozbawienia wolności do 14 miesięcy, a także obniżył okres utraty biernego prawa wyborczego do roku.
Przez rok pracował jako wykładowca w École nationale d’administration publique w Montrealu. W 2006 powrócił do polityki, kiedy to wygrał wybory na urząd burmistrza Bordeaux. 18 maja 2007 został ministrem stanu ds. środowiska, zrównoważonego rozwoju, energii i transportu w pierwszym gabinecie François Fillona. W czerwcu tego samego roku w drugiej turze wyborów do Zgromadzenia Narodowego minimalnie przegrał z kandydatem Partii Socjalistycznej.