Prawdziwym przełomem okazała się rola doświadczonego nowojorskiego policjanta porucznika Eugene’a Morettiego w biograficznym dramacie kryminalnym Sidneya Lumeta Pieskie popołudnie (Dog Day Afternoon, 1975) z Alem Pacino, za którą był nominowany do Złotego Globu dla najlepszego aktora drugoplanowego. Za postać Eda Healeya w miniserialu emitowanym na kanale NBC Kapitanowie i królowie (Captains and the Kings, 1976) był nominowany do nagrody Emmy za wybitny pojedynczy występ aktora drugoplanowego w serialu komediowym lub dramatycznym i Złotego Globu dla najlepszego aktora drugoplanowego w serialu, miniserialu lub filmie telewizyjnym.
W komedii Sydneya Pollacka Tootsie (1982) z Dustinem Hoffmanem wystąpił jako Leslie „Les” Nichols, ojciec aktorki Julie (Jessica Lange). W kasowym musicalu Colina Higginsa Najlepszy mały burdelik w Teksasie (The Best Little Whorehouse in Texas, 1982) swoją efektowną komiczną rolą gubernatora przyćmił Burta Reynoldsa i Dolly Parton, zdobywając nominację do Oscara dla najlepszego aktora drugoplanowego. Jako standartenführer Erhardt w komedii wojennej Być albo nie być (To Be or Not to Be, 1983) z Anne Bancroft był po raz drugi nominowany do Oscara i Złotego Globu w kategorii „Najlepszy aktor drugoplanowy”.