W osadzie znajdował się w XIV wieku dwór obronny, rezydencja urzędników biskupich: biskupa pomocniczego, archidiakona i oficjała pomorskiego oraz włodarza, który opiekował się dworem i okolicznymi majątkami biskupimi. Około 1380 biskup Zbylut Pałuka z Wąsosza w miejsce drewnianego dworu z 1356 r. zbudował podobny obiekt, ale już ceglany. Podczas „wojny głodowej” na polecenie wielkiego mistrza krzyżackiego Michała Küchmeistra zameczek ten został 2 sierpnia 1414 zburzony przez gdańszczan i więcej go nie odbudowano, a urzędnicy biskupi rezydowali odtąd w leżącym nieco dalej od miasta Chełmie.
Biskupia Górka jako zagrożenie dla Gdańska W następnych latach zdarzało się, że górujące nad Gdańskiem wzgórze obsadzały wrogie oddziały, które próbowały ostrzeliwać miasto. 1 września 1433 założyły na nim obóz wojska polskie, którymi dowodził kasztelan krakowski Mikołaj z Michałowa i Kurozwęk zw. Białucha, i sprzymierzone z nimi husyckie sierotki z Czech pod wodzą Jana Čapka z Sán. Doszło do wzajemnego ostrzeliwania, ale już po kilku dniach oddziały polsko-czeskie zrezygnowały z atakowania Gdańska i ruszyły na opactwo cystersów w Oliwie. Podczas wojny z zakonem krzyżackim w dniach 8–9 listopada 1520 ze wzgórza ostrzelały Gdańsk wspomagające Krzyżaków zaciężne oddziały niemieckie hrabiego von Eisenberga.