Arcybiskup Kolonii Joseph Frings, który współdecydował o wyborze projektu, zwrócił się do projektantów o przedstawienie prac konkursowych w formie modelu przestrzennego, co spowodowane było jego słabnącym wzrokiem. Zwyciężyła praca Gottfrieda Böhma, której bryła przypominała kryształ bądź skalistą górę. Nie bez znaczenia przy wyborze projektu był fakt, że Frings był uczestnikiem soboru, gdzie „duchowni pragnęli, by Kościół wszczął duszpasterski dialog ze współczesnością”, a projekt Gottfrieda Böhma w pełni spełniał te założenia.
Kamień węgielny wmurowano w roku 1966. Po trzydziestu miesiącach prac kościół został ukończony i poświęcony 23 maja 1968 roku. Z powodów finansowych nie zamontowano ogrzewania, licząc na obsługę pielgrzymów głównie w miesiącach letnich, jednak ze względu na całoroczne pielgrzymki ostatecznie wyposażono go w ogrzewanie.
We wrześniu 1978, trzy tygodnie przed wyborem na papieża, podczas swojej podróży po Niemczech, sanktuarium odwiedził Karol Wojtyła wraz z kardynałem Stefanem Wyszyńskim. Wizyta została upamiętniona tablicą umiejscowioną w kaplicy z obrazem Niepokalanego Poczęcia. W innej kaplicy bocznej wisi kopia obrazu Matki Boskiej Częstochowskiej, podarowana przez Wyszyńskiego podczas tej samej wizyty.