Nazwa Zwardoń pojawia się na mapie końcem XVIII wieku przy istniejącym już wówczas bitym trakcie oraz w dokumentach określających zasięg cyrkułu myślenickiego (od 1821 roku wadowickiego). W końcu XVIII wieku za panowania cesarza Józefa II zbudowano przez Przełęcz Przysłop, zgodnie z przebiegiem starego szlaku handlowego, trakt cesarski zwany „cesarką”. W XIX wieku Zwardoń znalazł się w dobrach Wielopolskich, ale od roku 1813 dobra Soli, a wraz z nią i Zwardonia przypadły hrabiemu Szembekowi. Majątek ten w latach 70 XIX w. wykupili Habsburgowie (Albrecht i Karol).

3 listopada 1884 r. została otwarta linia kolejowa z Żywca do Czadcy leżącej ówcześnie na Węgrzech, przez Zwardoń. Teren ówczesnego Zwardonia (obecnie centrum) dookoła stacji kolejowej, na której zatrzymywały się pociągi pośpieszne jadące ze Lwowa przez Kraków do Wiednia, nazywał się „świńska młaka” – było to trzęsawisko otoczone lasami. Zwabieni możnością zarobków przybywali tu nie tylko mieszkańcy okolicznych przysiółków – zarębków, ale również ludzie z innych krajów. Osuszano „świńską młakę”, karczowano kupiony od właścicieli pobliski las i budowano drewniane chałupy, a bogatsi wznosili murowane domy. W chwili, gdy wjeżdżał pierwszy pociąg stało już 8 domostw. Po prawej stronie stacji istniały już małe skupiska osiedli – Pydychy i Groń, liczące po kilka zagród.