Wtedy Jimmy dodatkowo pobierał prywatne lekcje muzyki.
Po ukończeniu szkoły w 1943 założył taneczny zespół swingowy. W okresie toczącej się wówczas II wojny światowej nie dostał powołania do wojska ze względu na niedowagę. Od 1945 do 1946 występował w orkiestrze Nata Towlesa. Następnie, do 1947 prowadził w Filadelfii małą grupę, grając m.in. z młodym Johnem Coltrane’em, trębaczem Johnnym Colesem, saksofonistą Bennym Golsonem i pianistą Rayem Bryantem. W tym czasie odkrył bebop, którego współtwórca, saksofonista altowy Charlie „Bird” Parker wywarł silny wpływ na jego grę.
W 1948 dołączył do zespołu trębacza Howarda McGhee. Wkrótce w składzie grupy pojawił się jego brat Percy. Koncertowali m.in. w Paryżu, występując na pierwszym w stolicy Francji festiwalu jazzowym. Podczas pracy z McGheem zyskał przydomek „Little Bird” („Ptaszek”), częściowo ze względu na niewielką posturę (160 cm wzrostu)Jimmy Heath, Joseph McLaren, I Walked with Giants – The Autobiograpy of Jimmy Heath, Temple University Press, 2010, przede wszystkim jednak z uwagi na jego fascynację osobą i grą Parkera. W 1949 po rozwiązaniu zespołu podjął pracę w orkiestrze Dizzy’ego Gillespiego, w której grało jego kilku kolegów z Filadelfii, m.in. Coltrane.