Na początku 1959 roku Kohl został wybrany przewodniczącym oddziału okręgowego partii w Ludwigshafen W dniu 19 kwietnia 1959 roku Kohl został wybrany najmłodszym członkiem parlamentu Nadrenii-Palatynatu. W 1960 roku został również wybrany do rady miejskiej Ludwigshafen i jednocześnie został liderem partii w radzie do 1969 roku. Pod koniec 1961 roku awansował na stanowisko zastępcy przewodniczącego grupy parlamentarnej CDU w Landtagu. Po następnych wyborach w 1963 roku został przewodniczącym grupy. W marcu 1966 roku Kohl został wybrany na przewodniczącego partii w Nadrenii-Palatynacie. W 1969 roku został premierem Nadrenii-Palatynatu.
Premier Nadrenii-Palatynatu Gdy w 1966 został wybrany na przewodniczącego krajowego CDU w Nadrenii-Palatynacie, wyznaczono go również na następcę Petera Altmeiera na stanowisku premiera. Wprawdzie po następnych wyborach do Landtagu premierem został ponownie Altmeier, jednak 19 maja 1969 zastąpił go Kohl. Ważnymi decyzjami podjętymi w czasie urzędowania Kohla były reforma terytorialna oraz powołanie Uniwersytetu Trier-Keiserslautern (obecnie: Universität Trier, Technische Universität Kaiserslautern). W 1971 r. bez powodzenia kandydował na stanowisko federalnego przewodniczącego CDU, przegrał z Rainerem Barzelem.