Okres drugiej wojny chińsko-japońskiej Powrócił do służby czynnej w 1937 roku, został mianowany dowódcą sił ekspedycyjnych w Szanghaju. Matsui miał bogate doświadczenie w operacjach chińskich, gdyż był on oficerem Armii Kwantuńskiej, dlatego po wybuchu II wojny chińsko-japońskiej otrzymał dowództwo Armii Japońskiej Chin Centralnych. W ich skład wchodziła 10. Armia oraz wojska ekspedycyjne w Szanghaju, którymi poprzednio dowodził.
13 grudnia 1937 roku dowodzone przez niego wojska zajęły ówczesną stolicę Chin – Nankin. Ponosi on odpowiedzialność za zbrodnie wojenne na narodzie chińskim, które znane są jako „masakra nankińska”. Przez ponad sześć tygodni żołnierze japońscy wymordowali ok. 200 tys. (inne źródła mówią o 300 tys.) ofiar, tysiące kobiet zostało zgwałconych, miasto zostało doszczętnie splądrowane i spalone. Matsui jako triumfator wjechał do miasta 17 grudnia i pozostał tam przez ok. 5–7 dni. Przez ten czas wiedział o zbrodniach dokonywanych przez jego żołnierzy.
Do 1938 roku pełnił on stanowisko głównodowodzącego Armii Chin Centralnych, po czym ponownie przeszedł w stan spoczynku.