W związku z powyższym 18 czerwca podał się do dymisji, zgodnie z ustaloną wcześniej przez premiera zasadą, wedle której ci z ministrów, którzy będą kandydowali do parlamentu i nie zostaną wybrani, złożą rezygnację.
W 2008 skutecznie ubiegał się o urząd mera Bordeaux na kolejną kadencję, wygrywając w pierwszej turze z wynikiem ponad 56% głosów. Reelekcję uzyskał również w 2014.
14 listopada 2010 powrócił w skład rządu, obejmując stanowisko ministra stanu, ministra obrony i spraw kombatantów w trzecim gabinecie François Fillona, 27 lutego 2011 został w tym samym gabinecie ministrem spraw zagranicznych i europejskich, urząd ten sprawował do 15 maja 2012.
W 2016 Alain Juppé wziął udział w prawyborach przed wyborami prezydenckimi w 2017, które zorganizowała centroprawica skupiona wokół partii Republikanie (będącej następczynią UMP). W pierwszej turze zajął drugie miejsce z wynikiem 29% głosów. W drugiej turze z wynikiem 33% głosów przegrał ze swoim kontrkandydatem François Fillonem.
W styczniu 2019, negując linię przyjętą przez przewodniczącego Republikanów Laurenta Wauquieza, ogłosił ostatecznie swoje wystąpienie z tej partii.