科学的発見の再現性が時間と共に低下していくメカニズムとは？

by Florian F. (Flowtography)

研究者であれば誰しもが「歴史に残るような大発見をしたい」と考えるものですが、たとえ誠実に実験データを取って実証したはずの科学的発見であっても、時間の経過と共に再現性が低下するとThe New Yorkerが報じています。

The Truth Wears Off | The New Yorker
https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off

2007年9月18日、数十人の神経科学者や精神科医、製薬会社の社員たちがブリュッセルのホテル会議室に集まり、衝撃的なニュースを知らされました。なんと、1990年代初期から販売が開始された統合失調症治療に用いられる「第二世代抗精神病薬」という一連の精神薬に対し、「統合失調症患者に対する薬物の治癒力が、1990年代初期の試験で報告された効果の半分以下に低下しているデータがある」というのです。販売当初、第二世代抗精神病薬は「統合失調症患者の症状を劇的に改善させる」という臨床結果をもとに売り出され、2007年の段階では統合失調症患者の治療に最も使用される抗精神病薬となっていました。しかし、ブリュッセルで開示されたデータは、「第二世代抗精神病薬は1950年代から使われてきた第一世代抗精神病薬よりも効果が低く、ときには患者を悪化させる可能性もある」ことを示すものでした。

当然、第二世代抗精神病薬の販売以前には薬物の有効性を確認するため、繰り返し再現性のチェックが行われています。ある実験の研究結果が発表された場合、複数の研究所の研究者たちが実験を繰り返し、発表者と同様の成果が得られたことを追認しなければ、科学界に研究が認められることはありません。再現性のチェックは「主観的要素が入って実験結果をゆがめてしまう」ことに対する保護装置であり、科学を疑似科学と区別する大きな砦でした。ところが、その砦が崩れようとしているのです。

現在、多くの「当時再現性が認められた」科学的発見に対し、「実はそうでなかった」と判明するケースが多発しているとのこと。この再現性が低下する現象に正式な名称はありませんが、心理学から生理学までさまざまな幅広い分野で確認され、多くの科学者を悩ませています。

by Nate Steiner

1980年代、ワシントン大学の大学院生であったジョナサン・スクーラー氏は、言語と記憶に関する面白い発見をしました。それは、「被験者に人の顔を見せ、後で見た顔を言葉で説明させた場合と何も説明させなかった場合では、言葉で説明したグループの方が見た顔を正確に覚えていなかった」というもの。スクーラー氏は一連の実験結果を学会に発表し、この現象を「言語隠蔽効果」と名付けました。

言語隠蔽効果はセンセーショナルな発見であり、1990年の時点ではすでに400回以上も発表論文が引用されるなど、スクーラー氏は一躍学会のスターになりました。スクーラー氏はその後も実験における「人間の顔」を「ワインの味」「いちごジャム」「創造的なパズルの解決」などに拡張していき、そのいずれでも言語で説明した後で劇的なパフォーマンスの低下が見られたとのこと。

しかし、スクーラー氏は新しい研究結果を著名な学術誌に投稿して名声を得る一方で、ある悩みに悩まされていたそうです。実は、一番最初に発表した「人の顔」を覚える実験についての再現性が、次第に低下していったのです。「しばしば言語隠蔽効果は確認できたものの、当初のものほど強力ではなかった」とスクーラー氏は述べており、最終的には最初の実験に参加した被験者たちのグループが、特に言語による影響を受けやすかったのではないかと考えるに至りました。

by Lee Summers

「私のメンターの一人が、『君は自分自身を失望させたくて、最初の実験を再現することに固執しているが、それは間違いだ』と言って励ましてくれましたが、私にとって納得のいく説明ではありませんでした」とスクーラー氏は語っています。スクーラー氏はその後言語隠蔽効果とは別の、新たな研究成果を複数発表しており、現在ではサンタバーバラ大学に勤めています。しかし、言語隠蔽効果の再現性が徐々に低下していくことは、スクーラー氏を非常にイライラさせたとのこと。

「まるで最初の実験結果はまるで偶然で、その揺り戻しが来ているかのようでした」とスクーラー氏は述べていますが、現在ではすでに言語隠蔽効果の研究を行っていないそうです。しかし、言語隠蔽効果は今でも広く受け入れられたままであり、人間の目撃証言の曖昧さを主張する際に引用されがちです。

by Jeff Meyer

再現性の急速な低下が確認された事例は、1930年代にもありました。デューク大学の心理学者ジョゼフ・バンクス・ライン氏は超能力に関する研究を行っており、ゼナー・カードという5種類のマークが描かれたカードを使って、裏返しのマークが見えない状態にあるカードのマークを予測させる実験を行いました。ほとんどの被験者が予想される確率通りの20％程度の正解率しか出せない中、アダム・リンツマイヤー氏という学生だけが初回のセッションで50％という驚異的な正解率を記録。偶然に起こったとすれば、これはわずか200万分の1という非常に低い確率ですが、リンツマイヤー氏はその後3回も同様の結果を残したとのこと。

ライン氏はリンツマイヤー氏の結果を受けて、学会に「超能力は存在する」という論文を提出しようと準備をしましたが、論文発表の矢先にリンツマイヤー氏の超能力は失われてしまったとのこと。ライン氏は繰り返しリンツマイヤー氏に対して同じ実験を繰り返しましたが、結局超能力が再現されることはなく、ライン氏はリンツマイヤー氏の超能力が失われてしまったと結論づけました。ライン氏はリンツマイヤー氏の超能力が急速に失われた現象を「衰退効果」と名付け、リンツマイヤー氏だけでなく他の被験者にも衰退効果が見られたことを記録しています。

スクーラー氏はライン氏の「衰退効果」の発見に目を付け、ライン氏が行った「超能力者の発見」に類似した、「予知能力者」を探す実験を行ったとのこと。すると、まさにライン氏がリンツマイヤー氏を見いだしたのと同様に、スクーラー氏は「予知能力者」とおぼしき被験者を見いだすことができました。そして、実験を繰り返すにつれてライン氏のケースと同様、被験者の予知能力は衰退するかのように消え去ってしまったそうです。「単なる平均への回帰」と片付けてしまうのは簡単ですが、無作為に抽出した被験者の中にたまたま外れ値をたたき出す被験者がおり、それが実験の初期段階で発生してしまうと、それに固執せず実験を進めることは非常に難しいものです。

by Yuri Belotserkovsky

同様の事例が、アンドレス・ムーラー氏が1991年に発表した「メスのツバメにおいて、翼がシンメトリーの個体は翼がアシンメトリーの個体よりも、より繁殖相手を見つける可能性が高い」という研究についても報告されています。ムーラー氏の発見は科学雑誌のNatureにも掲載され、自然界にも性的選択の際、シンメトリーな美を好むケースがあるとして非常に大きな話題になりました。

ムーラー氏が論文を発表した次の3年間で、性的選択とシンメトリーに関する10の独立した実験結果が発表され、そのうち9件の実験について性的選択とシンメトリーの間に相関関係を認めました。しかし、1994年に発表された14の論文のうち、性的選択とシンメトリーの間に相関関係を認めたものは8件にとどまり、次第に性的選択とシンメトリーの相関関係が崩れていったとのこと。そして、1995年になると8件の論文のうち相関関係に肯定的なものは半分の4件に低下し、1998年には全体の3分の1しか、性的選択とシンメトリーの間に相関関係を認めませんでした。

ウェスタンオーストラリア大学の生物学者であるレイ・シモンズ氏はこの件に関して、「私はムーラー氏の研究結果に触発され、いくつかの実験を行いましたが、残念ながら性的選択とシンメトリーの間に相関関係を認められませんでした。しかし最も悪かった点は、『実験が成功しなかった、有意なデータはゼロだった』という実験成果を公開することが非常に困難だったという点です」と述べています。つまり、著名な学術誌に発表される研究結果は圧倒的に「新たな発見」や「実験が成功した」というものが多く、否定的な研究結果は掲載されにくいという事情があるのです。

by Carlos Henrique

また、科学者たちの「選択的報告」が問題になっているともいわれており、針治療におけるアジア文化圏とヨーロッパ文化圏における、明らかな臨床結果の差異についても述べられています。1966年から1995年にかけて中国・台湾・日本において47件の針治療に関する実験が行われ、「針治療には有意な効果がある」と結論づけられていましたが、同期間中にアメリカ・スウェーデン・イギリスが行った94件の実験では、わずか46％しか治療上のメリットが確認できませんでした。選択的報告において、研究者たちが「重要性の追認」や「統計的に有意な差を見つける」ことを目的としているため、知らず知らずに自分の都合のいい数値ばかりを探そうとしてしまうことが問題とされています。

このように、科学的実験の中には意図せざる誤りが含まれていることが多々あり、研究者たちは研究データの取り扱いに注意しなければなりません。しかし、一度センセーショナルな研究結果が発表されてしまえば、さまざまな場所で研究結果が披露され、知らず知らずのうちに研究者にバイアスを生み出してしまうもの。それにより、新たに誤った研究結果を追認する実験結果を発表してしまい、より誤った研究結果が補強されるという悪循環にも陥りかねません。

研究者たちは「他の研究者たちも追認しているから、この理論は正しい」と頭から信じ込んでしまうのではなく、常に疑い続ける必要性があることを忘れてはならないのです。