科学の「再現性」が危機に瀕している

by Carlos Henrique

2015年、心理学研究者のグループが直近の心理学研究論文100本の再現を試みたところ、実験結果を再現できたのは39本でした。元の報告が間違っていてたとは必ずしも言えませんが、科学分野では再現性に関する問題が多く残されていることが判明しています。そこで、総合学術雑誌のNatureが、1576人の科学者に対して「現代の再現性に危機を感じているか？」「原因は何だと思うか？」といったアンケートを行い、結果を公開しています。

1,500 scientists lift the lid on reproducibility : Nature News & Comment
http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

Natureの調べによると、調査対象となった1576人研究者のうち、自分以外の科学者が発表した実験を再現するのに失敗したことがある研究者の割合は70％以上で、全体の50％以上は自分自身が行った実験を再現するのに失敗しているとのこと。

各分野ごとの再現失敗経験は以下のような感じ。化学、生物学、物理学＆エンジニアリング、薬学、地球環境学、その他、という分野ごとに調査結果をわけたところ、化学と生物学における再現失敗の割合が比較的多くなっていることがわかります

そして、「科学の再現性は危機に瀕しているか？」という質問に「はい、かなり危機に瀕している」と答えたのは52％で、「はい、少し危機に瀕している」という回答は38％、「危機はない」という回答は7％となっており、多くの研究者が危機を感じていました。一方で、「再現できなかった論文は内容が間違っている」と考えている科学者は31％以下で、多くは発表された論文が信頼に値すると考えているようです。これは、多くの科学者が「実験が再現できない」ということを過去に経験しているからであると考えられます。

また、今回の調査に回答した研究者のうち73％は、自分たちの研究分野において発表され科学雑誌に掲載されたた論文のうち、少なくとも50％は信頼に値すると考えているとのこと。発表された研究内容に最も信頼を置いているのは化学分野と物理学＆エンジニアリングの分野でした。

ただし、現代の科学における「再現性」がどうあるべきか、という定義ははっきりしていません。科学の正確性を保つためにも、「何が問題で再現がどうあるべきかという合意がなされる時が来ているのかもしれない」とJohns Hopkins Bloomberg School of Public Healthの微生物学者であるアーチュロー・カサデバル教授は語っています。

また、「他の科学者の実験を再現できなかった」という事実は自分の無能さの現れとして受け取られかねないことや、自分の研究内容を漏らしてしまう可能性があることなどから、「実験が再現できなかった」と本家の研究グループに伝えたことがある人は全体の20％にとどまっており、これも問題の1つとして挙げられます。

そして、既に行われた研究を再現するための研究を発表しようとする人がそもそも少なく、その上、「再現できない」という結果に終わった場合、ネガティブな内容を避けたがる出版社が論文を掲載したがらない、ということも科学の再現性における障害となっています。

再現研究を科学誌に掲載しようとした研究者たちの、掲載確率は以下のような感じ。再現に成功した研究のうち、科学誌に掲載された割合は24％で、掲載を断られた割合は12％となっています。一方で、再現に失敗した研究の場合は掲載される確率が低く、13％にとどまりました。

回答者のうち、「過去5年間において研究所で実験の再現を推進するための具体的な取り組みが行われた」と回答したのは全体の3分の1で、分野ごとに見てみると、取り組みに対して最も消極的だったのは物理学＆エンジニアリングの分野で24％、積極的だったのは薬学の分野で41％でした。取り組みの具体的な内容として挙げられたもののうち、最も多かった事例は「もう一度自分で実験を行う」というものと、「研究所内の誰かに再現を頼む」というものとなりました。

研究の再現において何が障害となるのか、という質問項目に対しては、60％以上の回答者が「選択的な報告」と「出版に対するプレッシャー」との2つを「常に／しばしば障害になっている」ものとして選択。また、研究所における検証の不足や、監督不足、検出力の低さなどを「常に／しばしば障害になっている」として挙げたのは全体の半数以上で、再現における技術的な難しさが問題点だと考えている人は少数だったとのこと。

では、再現のプロセスを改善するには何が必要か？というアンケートに対して、最も選ばれた回答は「統計的データをもっと理解する」「指導・監督を改善する」「実験の計画をより強固にする」といったもので、回答者全体の90％以上がこれらの案に賛同。奨励金を設けたり、出版社側のチェックの目をよりよくするという案は再現のプロセスを改良するアイデアとしては、人気の低いものとなりました。