Zagrał profesora psychologii Alexa Lindens, głównego bohatera filmu Nicolasa Roega Zmysłowa obsesja (Bad Timing, 1980), który zebrał złe recenzje. W 1981 wydał album pt. Scissors Cut (1981), który mimo dobrych recenzji poniósł sprzedażową klęskę, rozchodząc się w zaledwie 130 tys. egzemplarzy. Po udanym koncercie w Central Parku we wrześniu 1981 wznowił współpracę z Simonem i odbył z nim trasę koncertową po Japonii, Europie i USA, którą zakończyli pod koniec września 1983. Współpracę przerwał podczas pracy nad kolejną wspólną płytą z Simonem, bo nie mógł się z nim dogadać w kwestii utworów. Wówczas opuścił scenę muzyczną na kilka lat i poświęcił się podróżom..
Powrócił do życia publicznego rolą spragnionego sensacji dziennikarza w niskobudżetowym filmie Mike’a Nicholsa Good to Go (1986). Jesienią tego samego roku wydał album pt. The Animals’ Christmas, który poniósł komercyjną klęskę, rozchodząc się w zaledwie 110 tys. egzemplarzy. Fiasko poniosła także jego kolejna płyta pt. Lefty, którą wydał w marcu 1988. W styczniu 1989, nakładem wytwórni Columbia Records, ukazał się album kompilacyjny pt. Garfunkel.