「チョコレートがダイエットに効果的」という論文がメディアを釣りまくった方法とは？

By nicolas Valentin

Institute of Diet and Health(IDH)という機関が2015年3月29日に「チョコレートがダイエットに効果的である」という論文を発表したところ、さまざまなインターネットメディアに掲載され、さらにはテレビで放送されるまでのニュースになりました。しかしながら、その論文の著者であるJohannes Bohannon氏が「チョコレートがダイエットに効果的である」という論文は壮大な釣りだったことを明らかにし、なぜ多くの人をだますような論文を発表したのか、そして世界中のメディアを釣り上げた驚きの方法を公開しています。

I Fooled Millions Into Thinking Chocolate Helps Weight Loss. Here's How.
http://io9.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800

そもそも論文の著者であるBohannon氏は博士の学位を取得していますが、専門分野は生命現象を分子を使って理解することを目的とする分子生物学で、ダイエットに関する勉強の経験はありません。また、職業も大学教授ではなく、科学系の記事を執筆するジャーナリストです。そんなBohannon氏の元に、ダイエット産業を批判するドキュメンタリーを制作中のドイツのテレビプロデューサーから連絡があり、「いかにダイエットに関する実験が簡単にメディアのトップニュースになるかを検証したい」と依頼してきたとのこと。

By Alan Cleaver

Bohannon氏はテレビプロデューサーの依頼を快諾し、壮大な釣りプロジェクトが進められることになります。まずは、Facebookでダイエットに関するドキュメンタリー番組への参加を募り、5人の男性と11人の女性を実験の参加者として収集。集められた参加者は19歳から67歳までの幅広い年齢の人たちでした。

次に、Gunter Frank氏という開業医にネタ晴らしをした上で実験の依頼をすると、Frank氏は依頼を引き受け、さらに実験テーマを「チョコレートはダイエットに効果的である」にしようと提案。Bohannon氏が、Frank氏に実験テーマを決めた理由を尋ねると「ホールフードの熱狂的信者はチョコレートが大好きだからです。おいしくない苦いチョコレートは体に良いはず。宗教みたいなものですね」と言ったそうです。

By elana's pantry

実験前に参加者全員に健康診断を行い、誰にも問題がないことを確認してから実験は開始されました。実験では、被験者を「低炭水化物ダイエットを行うグループ」と「低炭水化物ダイエットをしながら、毎日42グラムのチョコレートを摂取するグループ」と「好きなものを食べるグループ」の3つに分け3週間過ごしてもらうという内容です。実験が終了すると、被験者の体重を量り血液を採取してコレステロール値や血中タンパク濃度などを計測。さらには、睡眠の質や健康状態など、合計18もの項目で検査しました。

検査結果では、「低炭水化物ダイエットを行うグループ」と「低炭水化物ダイエットをしながら、毎日42グラムのチョコレートを摂取するグループ」の両グループが平均約2.3キログラムのダイエットに成功したことが判明。さらに、チョコレートを摂取していたグループの方が、摂取していないグループよりも約10％速く減量していた、つまり効果的にダイエットを行えていたことが明らかになったというわけ。

By anjuli_ayer

ここで浮かび上がる疑問は「結局、実験ではチョコレートを食べると効果的にダイエットを行えることが明らかになったのでは？」ということ。Bohannon氏によると、そこに大きな秘密が隠されているそうです。

Bohannon氏の言う秘密とは、この実験における「統計学的有意性」についてです。統計学的有意性とは、「確率的に偶然とは考えにくく、意味があると考えられる」という意味の統計学の用語。「仮説」が正しいかどうかの判断のために立てられる仮説を帰無仮説と言い、帰無仮説が成立する確率は「p値」と呼ばれています。一般的にp値が「0.05(5％)未満」である場合において「実験や研究から導き出されたデータが統計学的に有意である」とされます。

チョコレートの実験では、p値が0.05以下になる確率が6割を上回るという結果が出て、かなり高い確率で有意な結果を得られることがわかりました。しかしながら、Bohannon氏によると、少数の被験者に対して実験とは関係が浅いものを含めた多くの項目で検査を行った場合、複数の項目でp値が0.05を切るため、有意な結果を得られる可能性が上がることになり、これは「p-ハッキング」と呼ばれています。立てた仮説と実験結果を無理やりにでも合わせるため、p-ハッキングを使って強制的にp値を0.05以下にする科学者もいるとのこと。

Bohannon氏は「例えば、女性の体重は月経周期で3kg以上変化することが頻繁にあり、これは我々のチョコーレートダイエットの実験よりも大きい数値。こういった偶発的な要素を削り正確な結果を得るには多くの参加者を集める必要があります。また、実験の参加者は年齢層が幅広く、男性と女性の数のバランスがとれていないといけません。我々の実験では、そのようなことを全く考慮しませんでした」と話しています。つまり、Bohannon氏らが行った実験は結果だけ見ると、さもチョコレートがダイエットを促進させたように見えますが、信用するには被験者の数が少なすぎるということです。

専門家がきちっと検証すれば簡単にばれてしまいそうなBohannon氏らの実験でしたが、結果を論文にまとめて20の論文関係のジャーナルに提出したところ、24時間かからないうちに複数のジャーナルから掲載許可を受けました。しかも、論文を検証したり評価したりするためのピアレビューも一切なし。掲載許可を受けたジャーナルの中からInternational Archives of Medicineを選び、掲載にかかる費用の600ユーロ(約8.1万円)を支払うと、支払いから2週間後に論文がInternational Archives of Medicineに掲載されました。

その後、Bohannon氏はInstitute of Diet and Healthという架空の機関の公式サイトを作りあげ、プレスリリースを公開。プレスリリースを公開した後は、さまざまなウェブメディアが「チョコレートがダイエットに効果的」という記事を掲載し、アメリカやオーストラリアではテレビでも紹介されました。少数のメディアからBohannon氏へインタビューが実施されましたが、内容は「なぜチョコレートがダイエットに効果的なのでしょうか？」や「我々の読者に向かって何かアドバイスをください」といったものばかりで、誰1人として実験結果の数値に関して質問する人はいなかったとのこと。

こうしてBohannon氏らの壮大な釣りは成功したわけですが、同氏は読者に向けて「科学に関する記事を読む場合、読者は読み方を覚えなければいけないでしょう。もし、記事で紹介されている実験が被験者の数を公開していない場合、『なぜ公開されていないのか』と疑問に思ってください」とアドバイスしています。

なお、「チョコレートがダイエットに効果的」という論文はInternational Archives of Medicineから削除されたとのことです。