「Googleなどの検索エンジンが間違った医療アドバイスをしまくっている」とデータサイエンティストが指摘

GoogleやBingなどの検索エンジンを使えば、誰でも簡単にさまざまな情報にアクセスすることができますが、検索して表示された情報は間違っているものも含まれているため、情報の信頼性はユーザー個人が判断しなければなりません。ドイツのマルティン・ルター大学ハレ・ヴィッテンベルクとロシアのウラル連邦大学のデータサイエンティストで構成される研究チームが、「検索エンジンは誤った健康情報を拡散するのを手助けしている」と主張する研究を発表しました。

Misbeliefs and Biases in Health-Related Searches | Proceedings of the 30th ACM International Conference on Information & Knowledge Management
https://dl.acm.org/doi/10.1145/3459637.3482141

Google search is not reliable for health information: study
https://www.fastcompany.com/90693034/google-search-health-study

一般的にユーザーは検索結果の上位に表示されたページ、さらに検索結果と同時に表示される文章の「スニペット」を信頼する傾向があります。研究チームは、ロシアの検索エンジン「Yandex」の検索クエリ15億件から「健康についての情報に関する質問文」を、医学用語や代替医療用語のリストを用いてピックアップし、さらにその中から特に検索されることが多かった30件を抽出しました。

抽出された30件の中には医学的には有効性が疑わしい民間療法が含まれており、研究チームはこれらの有効性が疑わしい内容の質問文をYandexに入力して検索し、上位10件の検索結果のスニペットを調査しました。そして、スニペットの内容を「質問内容に肯定的である場合」「否定的である場合」「どちらでもない場合」の3つに分類しました。

例えば、「クサノオウはガンに効きますか？」という質問文については、クサノオウの効能は医学的に全く証明されておらず、それどころかクサノオウは毒草であるため、研究チームは「効能を否定した上で、毒による健康リスクを訴える」のが正解としました。しかし、実際にYandexで調査を行ったところ、検索結果上位10件のうち、7件のスニペットが肯定的な答えを提示しており、否定的に答えていたのは1件のみでした。また、健康リスクにも言及していたものは1件もなかったとのこと。同じく医学的に証明されていない「ニンニクは歯痛に有効ですか？」という質問文には、検索結果上位10件のうち6件が肯定的に、4件が否定的に答えました。

また、「ヒルで痔(じ)を治すことができますか？」という質問文については、もちろんヒルが痔の治療に用いられ成功した前例は確認されておらず、病原体に感染する危険性もあります。しかし、検索結果上位10件のスニペットのうち、8件が肯定的に答えており、残り2件は質問内容に答えておらず、否定するスニペットを表示する検索結果は1件もありませんでした。

調査の結果、Yandexで表示されるスニペットのおよそ44％が誤った情報を提供していることが判明。加えて健康上のリスクにつながると指摘していたのはわずか13％に過ぎなかったこともわかりました。

さらに、研究チームは同じ質問文をGoogleに入力して同様の調査を行いました。その結果、否定が正しい質問文に対してはスニペットの誤答率は47％、肯定が正しい質問をした場合の誤答率は32％であることがわかりました。この結果から、研究チームは「GoogleはYandexほど顕著な結果を示さなかった」と述べながらも「Googleのスニペットにも潜在的な健康リスクが眠っている証拠が得られたので、心配である」と述べています。

IT系ニュースサイトのFast Companyは今回の調査についてGoogleへ質問したところ、Googleからは「今回の調査方法は、ウェブサイトからの短いテキストを引用したスニペットだけを見ており、ウェブサイトの作成者や実際に含まれている情報は見ていないので、検索結果の質を正確に計測することはできません」というコメントがあったと述べています。

また、Googleは医療関連の質問に対する検索結果の内容を「肯定・否定」の2項目に振り分けるのは単純化しすぎていると述べ、研究方法に欠陥があると主張しました。Googleによると、健康に関する情報はGoogleの(PDFファイル)検索品質評価ガイドラインで示されているYMYL(Your Money or You Life)に分類されるとのこと。YMTLとは、ユーザーの将来の幸福や健康、経済的安定、安全性に影響を与える可能性のあるコンテンツのことで、このYMYLに関する検索結果は国や自治体、報道機関のサイトを上位に表示するシステムになっています。Googleはこの検索品質評価ガイドラインによって、健康に関する情報の検索結果の信頼性は高いとアピールしています。

しかし、Fast Companyが「ニンニクは歯痛に有効ですか？」という質問文をGoogleで検索したところ、検索結果上位10件のうち7件は歯科医院のウェブサイトで、「ニンニクには歯茎の回復を促す抗生物質のような特性があります」と解説していたそうです。Fast Companyは、「Googleは、他にも多くの誤情報に対処する必要があるため、研究で指摘された問題の対策を講じる必要があるとは思っていないかもしれませんが、これは誰かが考えなければならない問題のようです」とコメントしました。