W czasach, gdy występowała jeszcze pod nazwą Six Grandfathers, góra znalazła się na trasie obranej w ramach duchowej podróży przez przywódcę plemienia Dakotów, Czarnego Łosia (ang. Black Elk), prowadzącej na szczyt Harney Peak. Na skutek kilku kampanii zbrojnych prowadzonych w latach 1876–1877, Stany Zjednoczone zyskały kontrolę nad tym obszarem, ale nadal kwestionuje się ich prawo do tych terenów w oparciu o traktat podpisany w Fort Laramie w 1868. Biali osadnicy amerykańscy znali górę pod różnymi nazwami, na przykład: Cougar Mountain, Sugarloaf Mountain, Slaughterhouse Mountain, czy Keystone Cliffs. Jej obecna nazwa została nadana podczas wyprawy poszukiwawczej Charlesa E. Rushmore’a, Davida Swanzeya (szwagier pisarki Laury Ingalls Wilder, autorki powieści Domek na prerii), oraz Billa ChallisaKeystone Area Historical Society Keystone Characters (dostęp 2006-11-03)..
W 1923 historyk Doane Robinson, chcąc przyczynić się do rozwoju turystyki w Dakocie Południowej, zaproponował wykucie monumentu Mount Rushmore. W 1924 Robinson nakłonił rzeźbiarza Gutzona Borgluma do odwiedzenia rejonu Black Hills, by ten ocenił, czy wprowadzenie tego pomysłu w życie będzie możliwe do wykonania.