W synagodze odbywały się uroczyste nabożeństwa, koncerty i wykłady, a sam budynek stał się jedną z atrakcji turystycznych, m.in. był uwieczniany na pocztówkach. W 1906 roku obok synagogi wzniesiono dwukondygnacyjny budynek mieszkalny, na parterze którego znajdowała się żydowska szkoła. Podczas niemieckiej okupacji Tallinna podczas II wojny światowej, niemieckie władze przekształciły synagogę w magazyn, w którym przechowywano niemieckie mundury wojskowe oraz mienie zrabowane zamordowanym Żydom.
Budynek synagogi, wraz z budynkiem szkoły, został zniszczony w pożarze podczas nocnego bombardowania miasta przez lotnictwo radzieckie 9 marca 1944 roku. W miesiącach po bombardowaniu, które spowodowało w mieście m.in. głód, w Tallinnie zaczęły krążyć pogłoski o przypadkach kanibalizmu. Wśród nich pojawił się antysemicki zarzut, według którego ruiny spalonej synagogi miały służyć Żydom do praktykowania kanibalistycznych obrzędów na dzieciach.