Jego dyrygencka kariera rozpoczęła się od współpracy z operami Düsseldorfie 1956, Zurychu (1964–1966) i Stuttgarcie (1966–1968). W 1966 wystawił na festiwalu w Edynburgu Wozzecka Albana Berga, którego prapremierę w 1925 prowadził w Berlinie jego ojciec. Starannie unikał rozgłosu, ale kapryśność jego charakteru pozwoliła dziennikarzom nadać mu przydomek „enfant terrible”, który pozostał przy nim aż do samej śmierci (np. po śmierci Herberta von Karajana był pierwszym dyrygentem, któremu zaproponowano szefostwo Berlińskiej Filharmonii, ale odrzucił ofertę). Współpracował z Covent Garden, operą w Bayreuth, Metropolitan Opera, La Scalą i Wiedeńską Orkiestrą Filharmoniczną.

W 2003 zmarła jego żona Stanka Brezovar, słoweńska tancerka baletowa. On sam zmarł siedem miesięcy później, pochowano go obok małżonki w Konjšica, w Słowenii.

Osiągnięcia Jego interpretacje charakteryzuje niezwykła precyzja i dynamika. Także brzmienie orkiestry pod jego batutą stawia go wśród najlepszych. Cenione są jego wykonania V Symfonii c-moll op.67 Beethovena i IV Symfonii e-moll op.98 Brahmsa z Wiedeńską Orkiestrą Filharmoniczną, podobnie jak wykonanie pod jego batutą opery Webera Wolny strzelec z orkiestrą drezdeńską.