Ojciec Marcina chciał by syn został żołnierzem, a ponieważ przyszły biskup uchylał się od obowiązku służby, wydał go armii. Marcin służył w gwardii cesarskiej, co było zarezerwowane głównie dla zasymilowanych rodzin nierzymskich („barbarzyńskich”). Jego dowódcami byli wówczas Konstancjusz II i Julian Apostata. Podczas służby wojskowej po raz pierwszy zetknął się z chrześcijaństwem i około dwóch lat przed jej końcem przyjął chrzest. Przebywając w Wormacji, około 356 roku chciał opuścić armię cesarską. Przy wypłacaniu żołdu przez Juliana Apostatę, poprosił aby zamiast pieniędzy pozwolono mu odejść z wojska. Cesarz nie zgodził się i nakazał Marcinowi walczyć w pierwszym szeregu bez broni (bądź też sam Marcin o to zawnioskował). Ponieważ następnego dnia posłowie germańscy wynegocjowali pokój z Rzymem, do bitwy nie doszło. Wkrótce potem Marcin uzyskał zwolnienie z wojska.