再現性の危機（さいげんせいのきき、）とは、科学研究、特に心理学や医学の分野で発表された多くの学術的な発見が、その後の追試によっておいて再現できないという問題が深刻化している状況を指す言葉である。方法の再現性、結果の再現性、推論の再現性などそれぞれに問題が生じうるが、主に注目されているのは結果の再現性における危機である。この問題自体は古くから指摘されてきたが、「再現性の危機」という言葉とともに学術界で大きな注目を集めるようになったのは2010年代初頭からである。
科学的知見は再現性、すなわち誰がいつ行っても同じ結果が得られることによってその客観性が担保される（科学的方法論）。そのため、追試で結果を再現できないことは、その発見の信頼性や、それに基づいて構築された理論全体の土台を揺るがしかねない重大な問題となる。
この危機の背景には、出版バイアス（肯定的な結果が出た研究ばかりが論文として出版されやすい傾向）に加え、研究者が意図的か否かにかかわらず用いてしまう、統計的に有意な結果を導きやすくするための様々な手法の存在が指摘されている。これらは総称して「疑わしい研究行為（Questionable Research Practices, QRPs）」と呼ばれ、その中でも特に有名なものに「p値ハッキング」がある。これらの実践は、社会科学や生命科学など、幅広い分野で再現性の低さの一因となっていると考えられている。
再現性の危機は特に心理学（社会心理学）と医学の領域で広く議論されてきた。これらの領域においては古典的な結果の再調査やその結果の妥当性の評価、そしてもし妥当でないならばなぜ実験の再現が失敗するかの理由について多くの努力が行われてきた。心理学と同じく、他の社会科学の分野の中でも社会学や経済学等は共に、自然科学との比較で用語の定義が曖昧かつ研究の再現性も低い問題が指摘されている。
科学一般 1500人の科学者を対象にした2016年の調査によれば、70%の研究者が他者の実験の再現に失敗した（50%の研究者は自身の研究の再現にも失敗している）。この数字は分野によって異なる。
凡例: 他者が行った実験に失敗したことがある人の割合 (自身が行った実験に失敗したことがある人の割合) 化学: 90% (60%) 生命科学: 80% (60%) 物理学と工学: 70% (50%) 医学: 70% (60%) 地球科学と環境科学: 60% (40%)
2009年には科学者の2%が、少なくとも一度は（自身が）《研究の捏造》（＝科学における不正行為の一種）を行い、科学者の14%は そのような捏造を行った人を個人的に知っていることを認めた。「（実験）処理の誤り」は、（他の分野に比べて）医学研究者の方がより頻繁に報告している。
医学 1990年から2003年にかけての、1000件以上引用された49の医学研究のうち、45の研究で研究された治療法が効果的であったと主張された。これらの研究のうち、16%は後続研究により否定され、16%は治療法の効果が誇張され、24%は再現されなかった。アメリカ食品医薬品局は1977年から1990年にかけて、医学研究の10%から20%に欠陥を発見した。アムジェンに勤務する生命技術コンサルタントの Glenn Begley とテキサス大の Lee Ellis が2012年に出版した論文では、癌の前臨床研究のたった11%しか研究の再現に成功しなかったと主張しているBegley, C. G., and Lee M. E., 2012, Drug Development: Raise Standards for Preclinical Cancer Research, Nature, 483, 531–533.Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.。学術雑誌 PLOS Medicine で最近出版された論文のタイトルは "Why Most Clinical Research Is Not Useful"（なぜほとんどの臨床研究は使えないのか）であるIoannidis JPA, 2016, Why Most Clinical Research Is Not Useful, PLoS Med 13(6): e1002049. doi:10.1371/journal.pmed.1002049.。
心理学 実験の再現の失敗は心理学に固有のものではなく、科学の全ての領域で発見される。しかしながらいくつかの要素が合わさって心理学を論争の中心に置いてきた。臨床心理学のような他の心理学の領域においても関係はあるものの、多くの焦点は社会心理学の領域に当てられてきた。
まず最初に、疑わしい研究行為（）が心理学において一般に認知されてきた。故意のねつ造ではないものの、このような慣習の結果として許容可能な科学的慣習におけるグレーゾーンが利用されるか、もしくは望ましい結果を得るための努力としての柔軟なデータ収集、分析、報告が利用されてきた。QRPsの例として、データを選択して報告する事や部分的な出版（出版にあたって研究条件や収集した従属変数の一部のみを報告する事）、恣意的な停止（データ収集をいつ止めるかをしばしば検定が統計的に有意になるかに基いて選ぶ）、p値の丸め（統計的に有意であることを述べるためにp値を5%となるように丸める事）、ファイル・ドロワー効果（）（データが出版されないこと）、ポストホックなストーリー展開（（仮説が無い状況での）探索的な分析を（何らかの仮説についての）確証を得るための分析として見なすこと）、外れ値の操作（統計的検定が有意となるようにデータセットから外れ値を削除したり除去したりすること）などがある。2000人以上の心理学者による聞き取り調査によれば、回答者の多くは少なくとも一つのQRPを用いたことを認めている。出版への圧力、もしくは著者自身の確証バイアスに依ることが多い偽陽性的な結論は心理学に固有の災いであり、一部の読者はある程度の懐疑主義を持たなくてはならない。
第二に、特に心理学と社会心理学は明かな研究不正に伴ういくつかのスキャンダルの中心に巻き込まれてきた。最も注記すべきはが認めたデータのでっちあげだが、他の研究者に対しても疑惑はある。しかしながら多くの研究者は研究不正は、おそらくは、再現性の危機について大きな寄与はないと認めている。
第三に、心理科学におけるいくつかの効果は現在の再現性の危機以前より再現することが難しいということが発見されてきた。例えば、科学雑誌 Judgment and Decision Making はを支持する事に失敗した研究を数年にわたっていくつか発行している。理論に対し強い疑念を持っていない研究グループによって研究実験が事前登録され施行される時、研究の再現は特に難しくなるように思われる。
これら三つの要素は結果として実験の再現についてダニエル・カーネマンによる新たな注意をもたらした。多くの効果の精密な調査はいくつかの中心的な信念は再現する事が難しいことを示してきた。学術雑誌 Social Psychology の最近の特集号のひとつは再現研究に焦点を当てており、今までの固定観念の多くが再現することが難しいことを発見した 。学術雑誌 Perspectives on Psychological Science の2012年の特集号でもまた出版バイアスからヌル・アバージョン（null aversion、否定的な結果を避けようとする考え方）まで含む心理学における再現性の危機に寄与する問題について焦点があてられたTable of Contents（目次）。2015年、心理学において最初の再現性の公開実証研究が出版された。これはと呼ばれている。三つの心理学の最も有力な学術雑誌における100個の実証研究の再現のため世界中の研究者が協力した。行われた再現実験の多くが事前に予期された結果と同じ傾向を示したものの、統計的に有意な水準で再現することに成功したものは半数以下となった。
学者James Coyneは多くの研究実験とメタアナリシスが質の悪さと著者とプロの組織の両方に関連する利益相反によって毀損されており、結果としてある種の精神療法の効果について多くの偽陽性をもたらしていると著している。
再現性の危機は心理学が非科学的であるということを意味しない。むしろこのプロセスは、科学的なプロセスの辛辣な部分ではあるが、健康的である。このプロセスにおいて古い考えや入念かつ精密な調査に耐えることのできない考えが（この方法が常に効率的であるとは限らないものの）排除される。この結論として、かつて信頼できると見なされた心理学のいくつかの分野、例えば社会的プライミング、が再現実験の失敗により詳細な調査の対象となっている。イギリスのインデペンデント紙はの結果は出版された研究の多くがただの“心理バブル”（psycho-babble）であることを示したと記している。
ノーベル賞受賞者で心理学の名誉教授であるダニエル・カーネマンは、出版された方法は曖昧であることが多いので、原著者は再現性への努力に携わるべきだと主張している。他の科学者、例えばAndrew Wilson博士はこれに同意せず、出版された方法の詳細を書くべきだと主張している。2012年における心理学分野の再現率調査は、著者が研究の原著者と共同した時、再現研究において高い再現成功率が得られることを示唆している（原著者と共同しない場合の再現成功率は64.6%なのに比べ原著者と共同した研究における再現成功率は91.7%である）。
心理学における再現率 Open Science Collaborationがと共同して行った2015年8月の報告では三つの高ランクの心理学の学術雑誌から100個の心理科学における研究の再現性を推定した。元々の研究では97%の研究が統計的に有意な効果（p 値が0.05以下）を持っていたのに比べ、再現実験全体の36%が統計的に有意である結果が得られた。再現実験におけるの平均は元々の研究で報告された効果量のおよそ半分程度の大きさだった。
同じペーパーでは学術雑誌（ [JPSP], [JEP:LMC], Psychological Science [PSCI]）と分野（社会心理学と認知心理学）の再現率と効果量も調査された。研究の再現率はJPSPは23%、JEP:LMCは38%、PSCIは38%であった。認知心理学における研究の再現率は50%で社会心理学における研究の再現率（25%）より高かった。
1900年から2012年の間の心理学の学術雑誌の上位100誌における出版履歴による分析が示唆するところによると、全ての心理学の出版論文の内およそ1.6%については再現実験が行われていた。もし「再現」（"replication"）という用語が論文中に登場したならば、その論文は再現実験が行われていると考慮した。これらの研究の一つのサブセット（500個の研究）を更なる調査の為にランダムに選ぶと、その再現率は低く、1.07%（500個の研究の内342個は再現実験が行われていた）となった。500の研究のサブセットにおいて分析が示すところによれば、出版された再現実験の78.9%が成功していた。少なくとも一人以上の原著者が再現実験に参加した時、再現実験の成功率は有意に高くなった（64.6%に比べて91.7%である）。
方法論的な社会的ジレンマ Brian D. Earp と Jim A. C. Everettは、心理学における再現実験を推奨させない社会的な構造に着目して、なぜ再現実験が一般的ではないのかについて5つの点を列挙した以下もまた参照せよ。 Earp and Trafimow, 2015。
他者の発見の独立かつ直接的な再現は再現研究者にとって時間がかかる。 再現実験は研究者自身のオリジナルな考えを反映した他のプロジェクトから直接的にエネルギーと資源を奪いがちである。 再現実験は一般に出版することが難しい（再現実験は独自性が無いと見なされるという理由が大部分を占める）。 もし再現実験が出版されても、これらは分野に対する大きな貢献というよりは 'bricklaying' な研究とみなされがちである。 再現実験は認知も称賛もされづらく、キャリア上の基本的な安定さえ得づらい。
これらの理由により著者らは心理学は、分野の利益と個別の研究者の利益が調和しない、方法論的な社会的ジレンマに直面していると主張した。
社会学や経済学 社会科学の分野の中で心理学の他にも、社会学や経済学等は共に自然科学との比較で用語の定義が曖昧かつ研究の再現性も低い問題が指摘されている。そのため、アメリカ合衆国国立衛生研究所（NIH）は一部の社会科学分野の現状の是正の方向性を示す戦略を発表した。ブール最適化は特に問題が多く、社会科学へのブール最適化の導入は、論理実証主義の時代遅れの考え方に似ている。その無批判な適用は再現性の危機の一因となっている。
人工知能 人工知能における機械学習の予測精度は過大評価される可能性があり、機械学習が不適切に行われた場合の再現性と情報漏洩の問題がある。また、ルンド大学の研究者によれば、主成分分析は機械学習において再現性がない可能性があり、使用する際には特別な注意がほしい。
危機の原因 Glenn Begleyとジョン・P・A・ヨアニディスは2015年に出版された論文で、現在の科学の苦境をまとめるために5つの要点を提出した。
新しいデータの作成／前例のない率での出版 ほとんど長期的には称賛されえないだろう発見の証拠の強制 原因：良い科学的慣習の定着の失敗と、出版か死か（）という絶望 これは多くの要素と多くの利害関係者が存在する問題である。 一つの集団が単独で責任を負うものでもなく、一つの答えで十分でもないだろう。
実際、科学の精度の制御メカニズムにおいてありうる危機の予測は数十年にわたって、特に（STS）における学者の間で、遡及することができる。の父と見なされるは、科学は自身の指数的成長の結果として'老衰'してしまうだろう、と予測している。今日におけるある文献は、注目と質の両方において老衰しているのを嘆きながら、この行き過ぎた予言が間違いであると証明しようとしているように見える。
心理学者で科学史家であるは自身の1971年に出版された著書 で、制限された科学者のコミュニティで出来た小さな科学から大きな科学もしくは技術的な科学に移る上で、科学は質のコントロールの内部的システムにある大きな問題に悩まされることだろう、と予測した。Ravetz は近代のインセンティブの科学的システムは機能不全になるだろう（現在の出版か死かへの挑戦）と予測した。Ravetz にとって、規範と標準、そしてそういったものの上に立とうとする意志によってつながった学者コミュニティがあるならば、科学の質は保たれるだろう。
歴史家のは、より最近の2011年の著作 Science Mart で同じような診断を下した。'Mart' はここでは小売大手のウォルマート 'Wall Mart' に言及され、科学の商品化の暗示である。Mirowski の分析では、科学が市場で取引される商品になった時にその質は崩壊する。Mirowski は、科学の減衰を企業が自らの業務を大学にアウトソーシングさせるために企業内研究室を閉じたという決定に帰し、結果として企業の研究は大学からより安価な契約研究機関に移ったと主張している。
科学の質をコントロールするシステムの危機は政策においての科学利用にも影響を与えている。これは、証拠に基づいた政策（エビデンスベースドポリシー、）において現在の緊張点を識別しているSTSの科学者集団による最近の論文で触れられているBenessia, A., Funtowicz, S., Giampietro, M., Guimarães Pereira, A., Ravetz, J., Saltelli, A., Strand, R., van der Sluijs, J., 2016. The Rightful Place of Science: Science on the Verge. The Consortium for Science, Policy and Outcomes at Arizona State University.。
再現性の危機への言及 再現性は「科学のコーナーストーン」として言及されてきた。再現研究は出版された結果が真の発見を反映したものか偽陽性を反映したものかを評価しようとしている。科学的発見の誠実さと研究の再現性は将来の研究の基礎知識を形作るため重要である。 再現性の危機に対応するための学術出版の近年の発展の一つは登録された報告を用いるものである。登録された報告のフォーマットは著者に、データ収集の前に、研究方法と分析を記述したものを提出することを求めている。方法と分析の計画がピアレビューにより審査されたら、発見の出版は著者が提出したプロトコルに従っているか否かに基づき暫定的に保証される。登録された報告の一つの目的はQRPを導きかねない有意な発見に対する出版バイアスを回避することであり、厳密な方法に基づいた研究の出版を促進することである。 MITとスタンフォード大学における実験的方法のコースワークに基づき、心理学のコースはオリジナルな研究というよりは再現実験を強調すべきと提案された。このような試みのおかげで学生は科学的方法論を学び、再現性が確かめられるような意味ある科学的発見について多くの独立した再現実験を行うだろう。大学院生は卒業前に博士論文の研究に関連したトピックに基づいた高い精度の再現実験を出版することを求められるべきと薦める声もある。 再現実験の精度を高めるために、元の研究より大きなが必要とされる。出版バイアスと元の研究における小さなサンプルサイズと関連した大きなサンプリングの変動性のために、出版された研究におけるの推定は誇張されることが多いので大きなサンプルサイズが要求される。 データ、プロトコル、そして発見が大衆により記録でき、かつ評価もされうるオンライン・レポジトリにより研究の統合と再現性が改善されようとしている。そのようなレポジトリの例として、open science framework、http://www.re3data.org/、www.psychfiledrawer.orgなどがある。Open Science Framework のようなサイトは意欲的な科学者の努力における開かれた科学慣行のためにバッジを提供している。しかしながら、分析のためのデータとコードを提供したいと思うような研究者はおそらくもっとも洗練されているという懸念もある。スタンフォード大の John Ioannidis は"最も几帳面で洗練されていて研方法を熟知しており注意深い研究者が、間違いを追い求める再分析者による批判と評価の攻撃により影響されるようになるというパラドックスが起こるだろうし、どうやっても間違いを無視できない"と提言している。 学術雑誌 Psychological Science では、研究の事前登録と、効果量と信頼区間の報告が推奨されている。編集スタッフは草稿を出版受理する前に、小さいサンプルサイズにおける試行からの驚くべき発見を行った研究の再現性について尋ねるようにしている、と筆頭編集者は記している。 2016年7月に、は再現研究のために300万ユーロを拠出した。この資金は現在あるデータの再解析に基づいた再現と新しいデータの収集と分析による再現のためのものである。資金は社会科学、健康についての研究、ヘルスケア・イノベーションの領域で使用可能である。 2017年6月に72人の著名な研究者が、、複数の統計学者らが「新発見の主張に用いるP値の閾値（α）を 0.05→0.005 に引き下げることを提案する論考が公表されました。この提案は“有意水準を厳しくすれば偽陽性（Type I error）を減らせる”という理屈に基づいている。しかし、この単純な閾値引き下げには反論も強く出た。たとえば「実験手法や解析方法を多数（事実上無数に）試行できる限り、閾値を小さくしても“どこかで偶然に有意になる”可能性は残る」という点は現場の研究者も指摘しており、Nature の報道でもイリノイ工科大学の計算機科学者 Shlomo Argamon が同様の注意を喚起している。つまり、閾値を下げるだけでは「多重比較・探索的分析」の問題を解決できない、という指摘である。また、閾値を一律に下げる実務的な副作用お蔵入り問題という出版バイアスの悪化を懸念する声もある。実際に、複数の研究者は「現状の問題の一因はP値の閾値ではなく、研究設計や解析の恣意性、選択的報告にある」「一律に α を下げると、多くの真に価値あるが弱いエビデンスを持つ研究が非有意になり公開されにくくなる」と主張している。
対策
事前登録：研究計画と主要解析を事前に公開し、事後に解析をこねる余地を減らすこと。 データと解析コードの公開：第三者が解析を追試できるようにすること。 透明性ある報告（報告チェックリスト等）：使用データセットの詳細（入手先、前処理、分割方法、乱数シードなど）や解析手順を厳密に記述すること。 機械学習／自然言語処理の分野でも、データセットや前処理・分割の報告の不備が再現性の阻害要因であると指摘されています（例：テキストマイニング／引用スクリーニング研究の再現性調査）。これを改善すれば再現性がかなり向上すると期待されている。近年、論文の「透明性」「厳密性」を定量化して再現性を支援しようとする取り組みが出ている。たとえば、Rigor & Transparency Index や RipetaScore のような「方法論の記載の質」を測る指標も開発されている。これらは単独で万能ではないものの、報告の標準化・第三者評価という観点から再現性向上に資すると期待されている。
参考文献
発展的参考文献 Big names in statistics want to shake up much-maligned P value, Nature.com 1,500 scientists lift the lid on reproducibility, Nature.com November 2012 special edition of Perspectives on Psychological Science on the issues of replicability and research practices in psychology Reproducibility in Science: Improving the Standard for Basic and Preclinical Research Social, Behavioral, and Economic Sciences Perspectives on Robust and Reliable Science Why Most Published Research Findings Are False Bonett, DG (2012) Replication-extension studies. Current Directions in Psychology 21, 409-412. Most scientific studies are wrong, but that doesn’t mean what you think it means - The Logic of Science Article on The Conversation Science in crisis: from the sugar scam to Brexit, our faith in experts is fading, September 26, 2016
関連項目
出版バイアス システマティック・レビュー 計量書誌学
サイエンス・ウォーズ