AI

「インターネットに投稿された架空の病気」をチャットAIが実在する病気としてユーザーに提示してしまう


チャットAIの普及に伴って、チャットAIに健康について相談する人も増えています。しかし、AIは完璧ではなく、不正確な情報を提示してくることもあります。スウェーデンのヨーテボリ大学の研究チームが「人間ならフェイクとすぐに分かる架空の病気に関する論文」を未査読論文としてインターネット上に公開した結果、AIが「実在する病気」としてユーザーへの回答に使用してしまう事例が確認されました。

Scientists invented a fake disease. AI told people it was real
https://www.nature.com/articles/d41586-026-01100-y

実験を行うにあたって、研究チームは医療に影響を及ぼさないよう、倫理アドバイザーと相談しながら実験を構築しました。

まず、研究チームは「Bixonimania」という名称の架空の病気を作り、2024年3月15日にブログ記事を投稿。さらに2024年4月26日2024年5月6日に2本の未査読論文をプレプリントサーバー(未査読論文公開プラットフォーム)のPreprints.orgに投稿しました。


Bixonimaniaは「ブルーライトを見続けたあとに目をこすると、まぶたがピンク色になる」という設定の病気で、目の病気なのに躁状態を示す「mania」という語句を含めることで専門家ならすぐに怪しいと気付けるように工夫されていました。また、論文には架空の地名や架空の大学名を含めたほか、「この論文はすべてねつ造です」という文章を含めたり、「USSエンタープライズのラボを提供してくれたスターフリート・アカデミーに感謝する」というSF作品のスタートレックに絡めたジョークを含めたりするなど、専門家以外が読んだ場合でも「怪しい論文だ」と気付けるようになっていました。


Bixonimaniaに関する情報がインターネットに現れてから約1カ月後、2024年4月13日にCopilotが「Bixonimaniaは非常にまれな症状である」と言及。同日にGeminiも「Bixonimaniaはブルーライトへの過剰な暴露によって引き起こされます」という説明を出力しました。さらに2024年4月27日にはPerplexityとChatGPTもBixonimaniaに言及しました。

上記の実験結果について、OpenAIは「GPT-5の登場以前に行われた研究は、現在の能力を反映していません。現在のChatGPTで使われているAIモデルは安全で正確な医療情報を提供する能力において各段に優れています」とコメントしています。


実際に、研究チームが2026年3月にBixonimaniaついてChatGPTに質問した結果、ChatGPTは「でっち上げか擬似科学的なものでしょう」と返答し、Bixonimaniaが架空の病気だと断言したとのこと。しかし、数日後には「Bixonimaniaはデジタル画面からのブルーライトの暴露に関連していると考えられています」という誤情報を出力してしまいました。

また、研究チームは「Bixonimaniaについて記した未査読論文を引用した査読付き論文」も発見しています。問題の論文は医学誌のCureusに2024年11月に掲載された「Clinical and Dermoscopic Evaluation of Periorbital Melanosis and Its Psychological Impact and Effect on Quality of Life: A Descriptive Study」という論文で、参考文献に2024年5月に公開されたBixonimaniaの論文が含まれています。研究チームは「一部の科学者は論文を読まずに、AIに頼って参考文献として記載している」と指摘しています。


なお、研究チームはBixonimaniaに関する2本の未査読論文を実験終了後の2026年4月10日に取り下げました。

この記事のタイトルとURLをコピーする

・関連記事
AIチャットボットに医療系の相談をする人が増加中だがリスクがあると専門家が警告 - GIGAZINE

AIにロシアのプロパガンダが「感染」している可能性が明らかに - GIGAZINE

MicrosoftがAI健康情報機能「Copilot Health」発表、「医学的アドバイスの代わりにはならない」との注意あり - GIGAZINE

動画が本物かAI生成かを見分けるテスト、専門家によるAI生成動画を見分けるためのアドバイスとは? - GIGAZINE

in AI,   サイエンス, Posted by log1o_hf

You can read the machine translated English article A chat AI presents users with fictional ….