W 1973 r., rok po nieudanym wotum nieufności, zgłoszonym przez Rainera Barzela, dla urzędującego kanclerza Willy’ego Brandta, udało się Kohlowi zastąpić Barzela na stanowisku przewodniczącego CDU i utrzymać tę funkcję przez 25 lat, aż do 7 listopada 1998.
Lider opozycji Podczas wyborów do Bundestagu w 1976 r. Kohl po raz pierwszy wystąpił jako kandydat swojej partii na kanclerza. CDU/CSU nieznacznie straciła bezwzględną większość, uzyskując 48,6% głosów. Był to do tej pory drugi najwyższy wynik CDU/CSU w jej historii. Po wyborach Kohl zrezygnował ze stanowiska premiera (Nadrenii-Palatynatu) i został szefem frakcji CDU/CSU w niemieckim Bundestagu w Bonn. 2 grudnia 1976 jego następcą na stanowisku premiera został Bernhard Vogel. Po przegranych wyborach CSU podjęła tzw. Uchwałę kreutherską dot. podziału (Kreuther Trennungsbeschluss) w celu rozwiązania wspólnej frakcji z CDU. Kohlowi jednak udało się, przy sprzeciwie przewodniczącego CSU Franza Josefa Straußa, przeforsować dalsze jej istnienie. W zamian za to, podczas wyborów do Bundestagu w 1980 roku, musiał zrezygnować na rzecz Straußa z kandydowania na urząd kanclerski.