W latach 90. blisko współpracował z Philippe'em Séguinem, ministrem stosunków społecznych i zatrudnienia, którego wybrano wkrótce na urząd przewodniczącego Zgromadzenia Narodowego. Roger Karoutchi został wówczas szefem jego gabinetu politycznego. W 1997 objął mandat posła do Parlamentu Europejskiego, który sprawował przez dwa lata. W PE był członkiem m.in. Komisji ds. Stosunków Gospodarczych z Zagranicą, Komisji ds. Przemysłu, Handlu Zewnętrznego, Badań Naukowych i Energii oraz Delegacji ds. stosunków z Izraelem.
W 1999 został senatorem, otrzymawszy mandat, z którego zrezygnował Charles Pasqua. W 2004 skutecznie ubiegał się o reelekcję w wyborach do Senatu w departamencie Hauts-de-Seine. W izbie wyższej parlamentu zasiadał do połowy 2007Formalnie sprawował mandat senatora także po ustąpieniu ze stanowiska sekretarza stanu ds. stosunków z parlamentem, tj. przez kilka dni w lipcu 2009.. W tym samym roku powołano go na stanowisko sekretarza stanu odpowiedzialnego za kontakty z parlamentem, podległego bezpośrednio premierowi François Fillonowi.