Wiek XVI Pierwszej przebudowy zamek w Liwie doczekał się pomiędzy latami 1526–1536, kiedy był własnością księżnej Anny Mazowieckiej. W ramach przebudowy dokonano podniesienia murów obronnych do 12 metrów, Dom Duży nadbudowano o jedną kondygnację, przez co mógł pełnić funkcje dworskie. Zmieniono również bramę zamykając ją murem od strony dziedzińca i nadbudowując jedno piętro. Na zamkowym dziedzińcu zbudowano niewielki dom gospodarczy zwany Domem Małym i spichlerz.
Kolejną przebudowę przeprowadzono na polecenie królowej Bony Sforzy. W latach 1549–1570 rozbudowano bramę przekształcając ją w kilkukondygnacyjną wieżę. Zlikwidowano krenelaż i zaopatrzono mury w stanowiska strzelnicze dla broni palnej. Pomimo tych inwestycji zamek w inwentarzu z 1595 roku opisano jako ruinę z porysowanymi murami.
Upadek zamku W 1657 wojska szwedzkie ostrzelały z dział zamek, a po zdobyciu spaliły. Po raz kolejny warownia uległa zniszczeniom z rąk wojsk szwedzkich w 1700 i 1703. Po zniszczeniach wojennych gotycko-renesansowej warowni nie odbudowano. Na piwnicach spalonego Domu Dużego wzniesiono drewniany dom kancelarii, który służył starostom liwskim do końca XVIII w.