Następny album, Gonna Ball, został źle przyjęty, więc zespół postanowił powrócić do Stanów Zjednoczonych. Po podpisaniu umowy z EMI America wydał swój debiutancki, amerykański album, Built for Speed, na którym znalazł się wybór największych przebojów z obu jego brytyjskich albumów. Dwa z nich, „Rock This Town” i „Stray Cat Strut” weszły na listę Top Ten, a zespół stał się ucieleśnieniem stylu retro. W 1983 roku ukazał się jego drugi album, Rant n' Rave with the Stray Cats, zawierający kolejny przebój, „(She's) Sexy + 17”, również odnotowany na liście Top Ten. W zespole pojawiły się konflikty personalne, a jego członkowie wybrali różne drogi życiowe: Slim Jim Phantom ożenił się z aktorką Britt Ekland, a Brian Setzer wystąpił gościnnie u boku takich gwiazd jak Bob Dylan i Stevie Nicks, został też gitarzystą koncertowym zespołu The Honeydrippers. Pod koniec 1984 roku rozwiązał zespół. Po kilku latach nagrał swój pierwszy solowy album, The Knife Feels Like Justice. Wystąpił też w filmie La Bamba Luisa Valdeza, w którym wcielił się w postać Eddiego Cochrana. Dwaj pozostali muzycy założyli, wspólnie z gitarzystą Earlem Slickiem (znanym ze współpracy z Davidem Bowiem i Johnem Lennonem) zespół Phantom, Rocker & Slick, który nagrał dwa albumy: Phantom, Rocker & Slick (1985) i Cover Girl (1986).