研究の再現性を検証する研究者に求められるものとは？

研究の結果をより確実なものとするには、研究者本人による実験だけでなく、第三者でも同じ結果を再現できることが求められます。アメリカの国防高等研究計画局(DARPA)では、研究の再現性を検証するためのチームを個別に設けており、DARPAの生物工学室でマネージャーを務めるポール・E・シーハン氏らが、再現性を検証する実験の重要性と、チームに求められるものについてを語っています。

A controlled trial for reproducibility
https://www.nature.com/articles/d41586-020-00672-7

DARPAでは2016年以降、研究成果の審査を通過したチームの研究成果に対して再現性を検証するため、独立検証及び妥当性確認(IV＆V)を導入しました。IV＆Vのために結成されたチームは、独立した第三者として調査・実験を行い、再現性を検証します。

DARPAのIV＆Vチームは主に3～5人の研究者で構成され、プロジェクトの資金から約3～8％が、IV＆Vに関する作業に充てられます。正確な評価を行うために、DARPAではプロジェクトの資金とは別に、IV＆Vのために約20万ドル(約2067万円)もの設備を導入している研究室もあります。IV＆Vのためのコストとしては高く感じるかもしれませんが、DARPAはあらかじめ適切な機材を導入することで、資金と時間の無駄遣いを防ぎ、基礎研究を進めることができるとしています。

IV＆Vチームは、DARPAに雇用された公平な第三者の研究者で構成されます。IV＆Vを行う研究者は、アイデアの盗用や、脱線した研究をしないことが求められます。また、IV＆Vの結果によっては、もともとの研究チームから異議を申し立てられることがあるため、反論やコミュニケーションの能力も必要とされます。研究チームとIV＆Vチームが互いに議論し協力しあうことが、研究成果を実証する必要条件であるということです。

IV＆Vチームの主な取り組みの1つに、研究を行ったチームと同じ研究室で、1日以上を実験や調査に費やすことが挙げられます。そして、研究を行ったチームも同様に、IV＆V側の研究室で実験や調査を行います。互いの研究室を行き来しながら実験を行うことで、論文を読むよりも研究内容を理解でき、個人の理解の差異を減らすことができます。特に、IV＆Vの研究者は、研究を行ったチームと比較して専門知識や先行研究に対する造詣に差があることから、共同での実験は重要であるとされています。

研究チームとIV＆Vチームが共同で実験を行うことは、研究における障害を最小にするという点でも役立ちます。例えば、専門知識を持つ研究者が研究室にいない場合でも、密接に研究内容を共有する研究者が複数いることで、代理として研究をサポートすることができます。

DARPAがIV＆V専門のチームを導入したことで、研究成果はより確実性のあるものになっています。DARPAが開発する技術の多くは、不特定多数の人々に幅広い用途で使用されることが想定されているため、IV＆Vチームは技術が有効かどうかを評価するだけでなく、信頼性を評価する必要があります。

例えば、遺伝に関する研究なら、結果が再現されることだけを調査するのではなく、「細胞のどの部分に新しい遺伝物質が取り込まれているか」「細胞が数ヵ月後に冷凍または解凍されても同じように機能するか」「細胞が増殖した後も機能が維持されるか」などを調べる必要があります。

シーハン氏らは、「IV＆Vは、個々の研究を再現する以上の利益をもたらします。再現性を検証することは、研究者が実験手順や技術についてより深く考えるきっかけにもなります。IV＆Vの導入は、信頼性と費用対効果の高い研究をもたらすので、他の研究機関でもIV＆Vに資金を充てることを検討すべきです。これにより、再現できない論文の数が減り、研究者の業務の質が向上するでしょう」と語っています。