医療AIは診断に必要な画像が提供されていなくてもそれらしい診断を出す可能性がある

医療分野ではマンモグラフィーやMRI、病理画像の読影補助にAIを使う動きが広がる一方で、科学系メディアであるLive Scienceが取り上げた新たなプレプリント研究では、こうしたAIが本当に画像を見て答えているとは限らないことを示す結果が報告されました。

MIRAGE: The Illusion of Visual Understanding | arXiv
https://arxiv.org/abs/2603.21687

AI 'mirages' mean tools used to analyze medical scans could fabricate their findings | Live Science
https://www.livescience.com/health/ai-mirages-mean-tools-used-to-analyze-medical-scans-could-fabricate-their-findings

スタンフォード大学のモハマド・アサディ氏らの研究チームは、実際には与えられていない画像の内容をAIモデルがでっち上げ、その架空の画像を前提に説明や回答を続けることを「ミラージュ推論(mirage reasoning)」と呼んでいます。

研究チームはミラージュ推論について調べるため、AIモデルに組織標本や胸部X線、脳MRIなどに関する指示文だけを与え、画像を与えた場合と画像を与えない場合を比較しました。Live Scienceによると研究チームが調べたのは12種類のAIモデルで、画像が与えられていない場合でも多くのモデルは「画像がありません」と返すのではなく、存在しない画像について説明した上で診断や回答を出したとされています。

この現象は医療分野だけでなく、衛星画像や群衆画像、鳥の画像など20の分野で確認されました。中でも特に目立ったのが医療診断です。画像なしで脳MRIや胸部X線、心電図、病理画像について答えさせると、AIの出力は追加の臨床対応が必要な重い診断に偏る傾向があったとのこと。

さらに、研究チームは画像を与えないままでも胸部X線の質問応答ベンチマークで最高順位を取ったケースがあったと報告しており、既存のベンチマークで高得点だからといって、そのAIが本当に画像を理解しているとは限らないことが分かりました。

また、AIモデルに対して「画像があるものとして」答えさせると高得点を出しやすい一方で、「画像はないので推測で答えてください」と明示すると成績が大きく下がることも示されました。研究チームはこの差から、AIには画像がないことを踏まえて控えめに回答する傾向と、画像を見ていないのにあるかのように振る舞う「ミラージュモード(mirage mode)」のような傾向がある可能性を指摘しています。

こうした問題に対し研究チームは、画像と文章を一緒に扱うマルチモーダルAIを本当に画像に基づいて評価できるようにするための「B-Clean」という評価手法を提案しています。B-Cleanは画像を与えなくても高得点を取れる設問や、設問文だけから答えを推測しやすい設問を除外し、画像を見ないと解けない設問だけを残す手法です。

研究チームが「MMMU-Pro」「MedXpertQA-MM」「MicroVQA」という3種類のベンチマークにB-Cleanを適用したところ、設問数は元の約4分の1まで減ったとのこと。設問を整理した後は正答率だけでなくAIモデルの順位も変わっており、従来のランキングが画像以外の推測で底上げされていた可能性が示されています。

今回の研究論文は査読前であり、臨床現場で使われる全ての医療AIを直接評価したものでもありません。それでも研究チームは、画像を読むはずのAIが画像なしでももっともらしい診断文を出してしまうことや、その状態を既存のベンチマークで見抜きにくいことを踏まえ、医療分野で使うAIモデルの評価方法を見直す必要があると指摘しています。