Skutkiem niewłaściwego użytkowania willi była daleko posunięta dewastacja, a nawet całkowite zniszczenie kilku budynków (ogród zimowy wraz z łącznikiem).
W okresie od maja 1950 do maja 1953, w oranżerii znajdował się magazyn sprzętu pływającego Ligi Morskiej w Łodzi, współużytkowany z Sekcją Żeglarską łódzkiego Klubu Sportowego „Unia” (przystań (pomost) najpierw na brzegu przy pałacu, potem zbudowany większy po przeciwnej stronie rozlewiska rz. Jasień); wyprowadzony stąd do pomieszczenia przy ul. Patriotycznej 1 nad stawami Stefańskiego w Rudzie PabianickiejKlub Sportów Wodnych Ligi Morskiej i Rzecznej w Łodzi. Kartki z dziejów 60-lecia, 1950-2010, Łódź 2010, s. 17. Przenosiny nastąpiły po likwidacji Ligi Morskiej i przekształceniem jej w Ligę Przyjaciół Żołnierza, która przejęła sekcje Ligi Morskiej..
Po przejęciu przez Muzeum Sztuki w Łodzi w 1976 i gruntownej rekonstrukcji w latach 80. XX w. w willi powstał oddział muzeum, w którym prezentowane są wnętrza mieszkalne typowe dla łódzkiej elity przemysłowej przełomu XIX i XX wieku.
Od 1990 W 1990 za przywrócenie świetności rezydencji Herbstów Muzeum Sztuki w Łodzi otrzymało medal Europa Nostra.