W 1883 roku, z inicjatywy ówczesnego proboszcza ks. Władysława Seroczyńskiego, rozpoczęto budowę nowej świątyni – kościoła św. Apostołów Piotra i Pawła według projektu Józefa Dziekońskiego. 28 czerwca tego samego roku odbyła się uroczystość poświęcenia fundamentów i wmurowania kamienia węgielnego przez arcybiskupa warszawskiego Wincentego Popiela. Budowę zakończono w 1886 roku, a 29 czerwca dokonano konsekracji świątyniEncyklopedia Warszawy, red. B. Petrozolin-Skowrońska, Warszawa 1994, s. 511.
W tym samym okresie, przy obecnej ul. św. Barbary, powstała również neogotycka kaplica-mauzoleum rodziny Przeździeckich, zaprojektowana przez Jerzego Wernera. Wyposażenie wnętrza kościoła obejmowało m.in. marmurowy ołtarz główny, ambonę i chrzcielnicę oraz polichromię wykonaną w technice sgraffito z elementami złoconymiM. Omilanowska, Architektura sakralna Warszawy 1795–1918, Warszawa 2000.
Od 1906 roku funkcję proboszcza pełnił biskup pomocniczy warszawski Władysław Szcześniak. Po jego śmierci w 1926 roku proboszczem został ks. Jerzy Gautier, który kontynuował rozbudowę i restaurację świątyni.