Tam wizerunek Trójcy Świętej przebywał przez kolejne 40 lat w kaplicy królewskiej, a na widok publiczny wystawiany był tylko raz w roku, z okazji Bożego Ciała. W tym czasie jezuici zaczęli budować w Braniewie kościół. Podczas prac dowiedzieli się o obrazie w Warszawie i zaczęli starać się o jego odzyskanie. O pomoc poprosili byłego kanonika warmińskiego, ówczesnego biskupa kijowskiego Tadeusza Ujejskiego, który z wielu względów ciągle nie mógł sprawować władzy na Ukrainie i przebywał we Fromborku. Miał on wielki wpływ na rodzinę królewską i dzięki niemu obraz po 46 latach powrócił na Warmię. Przez jakiś czas jeszcze przebywał w zamku biskupów w Lidzbarku Warmińskim, nim wyruszył w pielgrzymce do Braniewa. Odwiedził przy tym Dobre Miasto, Ornetę i Pieniężno i 12 października 1672 roku został uroczyście wprowadzony do zbudowanej już drewnianej kaplicy. Ta jednak nie ostała się zbyt długo i spłonęła w pożarze wywołanym przez piorun. Podobny los spotkał wybudowany później drewniany kościół. Jezuici postanowili więc zbudować kościół murowany, który przetrwał do naszych czasów w niemalże nienaruszonym stanie.