W II połowie XIII stulecia rezydencja królewska została trzykrotnie poważnie naruszona. W 1263 roku pożar zniszczył Painted Chamber, którą w kolejnych latach odremontowano. W 1267 roku do pałacu wdarł się tłum sprzyjający zbuntowanym przeciwko królowi baronom z Szymonem z Monfort na czele. W 1298 roku wybuchł zaś kolejny pożar, doprowadzając pałac do takiego stanu, że nie dało się w nim mieszkać. Zadania odbudowy zniszczeń podjął się na początku XIV wieku Edward II. Jego syn, Edward III, dokonał w latach 1348–1363 kolejnej renowacji kaplicy św. Szczepana, w ramach której ponownie odmalowano ściany i przeszklono okna. W 1365 roku ukończono natomiast remont w pochodzącej również z czasów Edwarda I kaplicy Najświętszej Maryi Panny. W tym samym roku rozpoczęto budowę wieży Jewel Tower, oddanej do użytku rok później, przeznaczonej do przechowywania królewskich kosztowności. Ryszard II podczas swego panowania podjął się natomiast zadania przebudowy Westminster Hall. Jej ściany zostały pogrubione i naprawione, zaś w 1385 roku ozdobiono je 13 figurami królów angielskich od Edwarda Wyznawcy po Ryszarda II. W 1393 roku rozpoczęła się przebudowa dachu Westminster Hall, zaprojektowanego przez architektów Henry’ego Yevele’a oraz Hugh Herlanda. Do budowy użyto 660 ton drewna sprowadzonego z Farnham.