Szybko jednak się okazało, że na koncertach to on przyciąga uwagę publiczności, co nie podobało się reszcie grupy. Na tym tle dochodziło nawet do pobić Sinatry. Sinatra pod wpływem sugestii Bowesa odszedł z zespołu. W 1938 za wynagrodzenie w wysokości 15 dolarów tygodniowo występował w klubie nocnym Rustic Cabin, w Englewood Cliffs, New Jersey. Jego występy były nagrywane i emitowane w wielu miastach na obszarze USA. Według relacji świadków Sinatra był przekonany o tym, że zrobi wielką karierę i nie chciał słuchać ludzi, którzy krytykowali jego umiejętności wokalne.

W 1939 popularny trębacz Harry James zaangażował Sinatrę do swojego zespołu Harry James Orchestra, oferując dwuletni kontrakt, opiewający na 75 dolarów tygodniowo. W repertuarze piosenkarza popularne były utwory, takie jak: „My Buddy”, „Willow Weep for Me”, „It’s Funny to Everyone But Me”, „Here Comes the Night”, „On a Little Street in Singapore”, „Ciribiribin” czy „Every Day of My Life”. Chociaż Sinatra niejednokrotnie zmagał się z problemami finansowymi, to w listach do rodziców nie skarżył się na swoją sytuację. Wkrótce Tommy Dorsey zaproponował mu współpracę i lepsze warunki finansowe (125 dolarów tygodniowo). Sinatra zgodził się, bo nie odpowiadała mu pozycja w zespole Jamesa, z którego odszedł jesienią 1939.