「統計的有意」には弊害があるとして800人以上の科学者が反対を表明

By bialasiewicz

「真実はいつもひとつ」のはずですが、真実を確かめるために実験したとしても、必ず1つの結果が得られるわけではありません。例えば薬を投与したとして、効果があるのかないのか実験するとき、「薬の効果は偶然ではない」と統計学的に判断できたとき、その結果を「有意」と呼びます。しかし、この「有意」という言葉に振り回されていると科学者800人が反対意見を表明しています。

Scientists rise up against statistical significance
https://www.nature.com/articles/d41586-019-00857-9

'Statistical Significance' Is Overused And Often Misleading : Shots - Health News : NPR
https://www.npr.org/sections/health-shots/2019/03/20/705191851/statisticians-call-to-arms-reject-significance-and-embrace-uncertainty

20世紀初頭に統計学の開祖、ロナルド・フィッシャーは有意差検定という手法を開発。有意差検定は、薬の効果が「ある」のか「ない」のかははっきりとわからない場合においても、「薬の効果がない」という確率を求め、「ある」のか「ない」のかを結論づけようという手法でした。有意差検定では実験の計測結果から「P値」と呼ばれる確率変数を計算します。例えば、実験結果が起こりえる確率が95％以上である場合は、P値は0.05以下になります。慣例的に科学者は「P値が0.05以下、つまりこの事象が起こりえる確率は95％以上ならば、この実験結果は偶然ではない」と判断し、「有意である」としていました。当初、「有意であるかどうか」は「この実験結果は95％以上の確率で起こりえる」ということを示しているだけのはずでしたが、次第に「有意かどうか」が研究結果の結論を左右するようになり、「研究が発表されるかどうか」や「実験が助成金を受けられるかどうか」などまで支配するようになっているとのこと。

By monkeybusiness

アメリカ統計学協会事務局長ロン・ワッサースタイン氏は「実験結果を改ざんして、P値を自分の望む数値に近づける研究者や、実験に意義がある場合でも有意ではないために実験結果を公表しない研究者もいる」と述べています。一般の人々と同様に、科学者も「統計的に有意であれば結果は真である」と信じがちです。ノースウェスタン大学のブレイク・マクシェーン氏は「実験の状況により、実験結果がガラッと変わり得ることはあり得りえます。『真』か『真でない』のかの2択ではなく、もっと曖昧な結論、例えば健康に害があるかもしれない食べ物を食べるならば、『有害か』『無害か』ではなく、『健康に対するリスクはどれくらいだろう』ということを考えることが大切です」とコメントしています。