Ostatnie lata W 1913 poślubił Ivę Miller, którą poznał jeszcze w Carlisle, i miał z nią czworo dzieci. Okresowe problemy Thorpe’a z alkoholem sprawiły, że para rozwiodła się w 1924. Ponowny związek małżeński zawarł z Freedą Kirkpatrick w 1926 i miał z nią czterech synów. Po zakończeniu kariery sportowej z trudem utrzymywał rodzinę i miał problemy ze znalezieniem stałej pracy. W okresie wielkiego kryzysu statystował w kilku filmach, zwykle grając indiańskich wodzów w westernach. Był też m.in. robotnikiem budowlanym, bramkarzem w restauracjach i w 1945 – marynarzem na statku handlowym.
Końcówkę swego życia spędził w biedzie – pozbawiony stałych dochodów i oszczędności. W 1941 opuściła go druga żona, a gdy w 1950 trafił do szpitala z powodu raka wargi, przyjęto go jako osobę wymagającą opieki społecznej. W marcu 1953, gdy w domu w Lomita w Kalifornii jadł obiad ze swoją trzecią żoną, Patricią Askew, doznał trzeciego – tym razem fatalnego w skutkach – zawału serca. Wkrótce zmarł w wieku 65 lat. Według nieudokumentowanych relacji jego ostatnie, wypowiedziane na łożu śmierci, słowa miały brzmieć: „Gdzie są moje medale?”