Następnie przez kilkadziesiąt lat zamek nie jest wzmiankowana, aż do roku 1400. Wtedy istniał już gotycki budynek w miejscu dzisiejszego zamku. Był to niewielki obiekt na terenie komturstwa z siedzibą w Pokarminie, który nie odznaczał się dużymi walorami obronnymi i był podobny do zamku w Bezławkach. W czasie wojny trzynastoletniej pomiędzy Królestwem Polskim i Zakonem Krzyżackim okoliczna ludność spaliła zamek w 1455 roku. Zniszczenia były tak duże, że kolejny prokurator krzyżacki był wzmiankowany dopiero w 1497 roku. Przy zamku istniała osada, dla której w 1475 roku odnowiono przywilej wsi jako "Nowa Wieś Leczen". W latach 1507–1508 załoga zamku składała się z 15 osób (bracia i służba). Od 1513 roku zamek przeszedł w ręce zarządców świeckich. W 1520 roku podczas wojny polsko-krzyżackiej załoga krzyżacka podpaliła zamek i go porzuciła. W 1560 na polecenie starosty Lehndorffa zamek został przebudowany pod kierunkiem Christopha Römera z Królewca. Wtedy też przypuszczalnie powstał istniejący obecnie renesansowy szczyt. W 1614 zamek został przebudowany na książęcy dwór myśliwski, co poświadczała tablica z inskrypcją i datą umieszczona nad wejściem. W późniejszym okresie dobudowano do zamku dwa niewielkie barokowe skrzydła, które spłonęły w 1749 roku i zostały rozebrane.