Następnie warownia przeszła w ręce Paniewskich h. Godziemba. Kolejnym starostą był Jakub Cielę Paniewski, który przejął zamek wraz z Janem Smolikiem ze Strzeszkowic. Piastował ten urząd do 1481 r. Od 1474 r. władzę na Czorsztynie sprawował Feliks Paniewski, wysokiej rangi dowódca wojskowy (hetman wojsk zaciężnych), który zmarł w 1488 r. W posiadanie starostwa weszli wówczas jego synowie: Aukt (Adaukt), Jan Janda, Jakub, Więcław i Jerzy. W 1516 r. cały czorsztyński klucz majątkowy przeszedł w ręce Jerzego, który wykupił wsie należące do braci wraz z sołectwami i wójtostwem w Krościenku.