1 sierpnia 1914, w czasie mobilizacji, został mianowany komendantem XIV Korpusu oraz awansowany na generała piechoty. Od sierpnia 1914 brał udział w walkach specjalnej Grupy (14 KA i 14 Dywizja) skierowanej na pomoc 4 Armii generała Morisa Auffenberga. 2 września na czele Grupy Pościgowej (cztery dywizje piechoty i dwie dywizje kawalerii) za 4 Armią rosyjską, a 7 września walczący z 5 Armią rosyjską w rej. Posadowej.
Od 30 września 1914 arcyksiążę był wyznaczony na dowódcę 4 Armii austro-węgierskiej. Walczył pod Jarosławiem i 9 października pod Przeworskiem, a następnie toczył boje o przeprawę nad rzeką San z 3 Armią rosyjska gen. Radko Dimitrijewa. W kolejnych miesiącach walczył arcyksiążę w bitwach pod Limanową oraz w pod Gorlicami. W dniach 4 – 7 lipca poniósł klęskę w operacji pod Urzędowem tracąc do niewoli 22,5 tys. żołnierzy. Z kolei 16 lipca w natarciu pod Krasnymstawem był odrzucony przez siły 3 Armii, lecz rozpoczął natarcie na styk 3 i 4 Armii rosyjskiej. Jesienią 1915 armia Józefa Ferdynanda była podporządkowana Grupie Armii generała Aleksandra von Lisingena.