Oddziały PTT w Bielsku i Żywcu wspólnym wysiłkiem otwarły tu popularne później schronisko nazwane "Dworcem Beskidzkim".
W okresie międzywojennym w miejscowości stacjonowała placówka Straży Granicznej I linii „Zwardoń”.
W czasie II wojny światowej, podobnie jak w wielu wsiach Żywiecczyzny wcielonej do Niemiec narodowo-socjalistycznych, Niemcy przeprowadzili akcję wysiedleńczą. Zwardoń musiało opuścić 356 dotychczasowych mieszkańców, a w ich miejsce osiedlono 53 kolonistów niemieckich.
Po wkroczeniu Niemców ani kierownik miejscowej szkoły, Edward Ziarko, ani też nauczycielki, nie stawili się do pracy. W związku z tym inspektor szkolny Horodyski z Żywca mianował kierownikiem Jana Górnego. Niemcy zezwolili na naukę w szkole. Rok szkolny 1939/1940 rozpoczął się w Zwardoniu w listopadzie. Grono pedagogiczne wraz z kierownikiem stanowiły nauczycielki – Danuta Milewska i Maria Opałko. W roku 1940 zamknięta została polska szkoła, nauczyciele zwolnieni. Budynek szkoły został rozbudowany przez Niemców i mieściła się w nim szkoła niemiecka oraz magazyny. W roku 1942 otwarto polską jednoklasową szkołę w budynku Justyny Wolancz. Uczyła jedna nauczycielka Helena Michna. Szkoła ta czynna była aż do wiosny 1945 roku.