Życie po śmierci królowej Axel von Fersen wrócił z Brukseli do Szwecji, skąd zmuszony był obserwować wciąż rosnącą ekspansję francuskiego imperium rewolucyjnego. W listopadzie 1796 książę Gustaw został królem Gustawem IV Adolfem. Fersen i jego najlepszy przyjaciel Baron Taube stali się dwoma najbardziej wpływowymi doradcami młodego króla, wpajając mu "niezłomną opozycję przeciwko rewolucyjnej Francji, bliskie stosunki z Rosją i wrogość wobec Danii, której ostatecznym celem jest zdobycie Norwegii".
Podczas pobytu w Niemczech von Fersen odbył wycieczkę do Karlsruhe, aby zapewnić Gustavowi IV Adolfowi rękę księżniczki Fryderyki Badeńskiej, którą Gustaw IV Adolf ostatecznie poślubił w październiku 1797. W 1799, po powrocie von Fersena do Szwecji, został mianowany jednym z Lordów.
W 1801 został mianowany marszałkiem królestwa. Był teraz najwyższym urzędnikiem na dworze Szwecji. Mniej więcej w tym czasie siostra von Fersena, Zofia, wróciła do Szwecji z Niemiec i przejęła jego domostwo zamiast żony.