W 1650 roku zainstalowano w kościele organy, w latach 1650–1653 wzniesiono wieżę północną o wysokości 48 m, a w latach 1691–1693 identyczną wieżę południową. Jezuici nadali bydgoskiemu kościołowi wezwanie św. Krzyża i przetrwało ono przez cały okres ich działalności w Bydgoszczy.
Budynek kolegium wzniesiono w latach 1644–1653 pod kierunkiem Wojciecha Przybyłkiewicza. Znajdowały się w nim mieszkania dla 8-17 jezuitów, szkoła z czterema lub pięcioma klasami, aula przystosowana do spektakli teatru szkolnego oraz bursa muzyczna. Rozbudowy budynku dokonywano w latach: 1696, 1697-1702 i 1705-1709 oraz 1726-1740. Kościół i kolegium stanowiły w tym czasiePo zniszczeniu zamku w 1656 r. i zrujnowaniu ratusza na początku XVIII wieku. cały kompleks budynków, który stanowił ozdobę rynku bydgoskiego i całego miasta.