W 1885 wyjechał do Petersburga, gdzie początkowo był wolnym słuchaczem na Akademii Sztuk Pięknych, a następnie studentem. W 1895 ukończył studia, za wybitne osiągnięcia podczas nauki otrzymał srebrny medal. Z Petersburga wyjechał do Paryża, gdzie pobierał lekcje rzeźby u Gabiela-Jules'a Thomasa i Auguste'a Rodina. W 1901 powrócił do Warszawy i podjął pracę rytownika w odlewni Bracia Łopieńscy, równocześnie rozpoczął współpracę z Żydowskim Towarzystwem Krzewienia Sztuk Pięknych.
W 1910 rząd Francji odznaczył artystę L'Ordre des Palmes Académiques, była to nagroda za całokształt twórczości. Do 1914 żył dostatnio, aktywnie uczestniczył w życiu artystycznym, wystawiał prace stworzone w czasach paryskich i należał do Warszawskiego Towarzystwa Artystycznego. W 1915 wyjechał do Moskwy, ale po wybuchu rewolucji październikowej powrócił do Warszawy. W tym okresie twórczość Józefa Gabowicza była już niemodna i artysta zaczął żyć w ubóstwie. W 1923 po raz ostatni wystawił swoje prace w jednym z warszawskich antykwariatów.
Zmarł w zapomnieniu.