Odwołanie i późniejsze życie W 1819 wolni osadnicy wysłali do Londynu skargę, w której zarzucali gubernatorowi uprzywilejowane traktowanie emancypantów ich kosztem. Minister kolonii powołał specjalnego komisarza, sędziego Johna Bigge’a, który przybył do kolonii celem zbadania tych zarzutów. Bigge generalnie zgodził się z zastrzeżeniami osadników, dodając jeszcze do tego zarzut o stanowczo zbyt dyktatorski sposób sprawowania urzędu. W 1821 Macquarie został odwołany i powrócił do Anglii. Przeżył jeszcze trzy lata, poświęcając je na obronę swej reputacji. Został pochowany na wyspie Mull, w tym samym grobowcu spoczywają także jego żona i syn. Choć znajduje się on w Szkocji, do dziś jego konserwacja finansowana jest ze środków organizacji dbającej o najcenniejsze zabytki Australii.
Upamiętnienie Choć w chwili śmierci dorobek Macquarie'ego był kwestionowany, późniejsza historiografia australijska (zwłaszcza tzw. szkoła nacjonalistyczna) uczyniła z niego jedną z najważniejszych postaci kolonialnego okresu historii Australii. Jego imię nosi bardzo wiele miejsc i instytucji, m.in.