MicrosoftのAIツールは医師の診断精度20％に対して80％の精度で病気を診断できる

Microsoftは、複雑な医療診断において人間の意思よりも優れたパフォーマンスを発揮する「医療におけるスーパーインテリジェンス」を切り開く人工知能システム「Microsoft AI Diagnostic Orchestrator(MAI-DxO)」の詳細を発表しました。Microsoftによると、MAI-DxOは医師の診断より非常に安価で、かつ4倍以上の精度で正確な診断を下すことができるそうです。

The Path to Medical Superintelligence | Microsoft AI
https://microsoft.ai/new/the-path-to-medical-superintelligence/

Microsoftは「医療需要の高まりに伴い、医療費は持続不可能なペースで上昇し、数十億人もの人々が健康増進への様々な障壁に直面しています。不正確な診断や診断の遅れもその一つです。医療アドバイスやサポートを求めて、デジタルツールを利用する人が増えています。私たちは、より多くの支援をしたいと考えています」と述べています。実際、BingやCopilotといったMicrosoftのコンシューマー向けAIでは、毎日5000万件以上の健康関連セッションが行われているとのこと。

AIチャットボットに医療系の相談をする人が増加中だがリスクがあると専門家が警告 - GIGAZINE

MicrosoftのAI部門は2024年末から、コンシューマーヘルスに特化した取り組みとして、臨床医、デザイナー、エンジニア、AIサイエンティストが主導するプロジェクトを開始しました。まずMicrosoftが重視視したのは、医療用AIのベンチマークの確立です。従来は、アメリカで医師として活動するために必要な医師免許試験をベンチマークとするケースが多く見られましたが、医師免許試験は選択式の暗記問題であり、ほとんどのAIが満点の回答が可能でした。その枠組みを超えて、テストではなく実務における臨床推論機能の進化と評価にMicrosoftは取り組んでいます。

Microsoftが作成した「シーケンシャル診断ベンチマーク(SDベンチ)」は、最も権威ある査読付き医学雑誌の一つであるNew England Journal of Medicine(NEJM)の症例を抽出し、段階的な診断プロセスに変換します。モデルは推論のもと繰り返し質問を投げかけ、新しい情報が得られると推論を更新し、最終的な診断へと絞り込んでいきます。

Introducing SDBench from Microsoft AI - YouTube

ベースラインとなるベンチマークに加えてMicrosoftは、多様な診断アプローチを持つ医師が協力して診断ケースを解決する仮想パネルをエミュレートするシステム「Microsoft AI Diagnostic Orchestrator(MAI-DxO)」を開発しました。これは、あらゆる言語モデルを臨床医の仮想パネルに変換するというもの。個別のモデルが臨床ワークフローを管理するのではなく、複数の言語モデルが組み合わさることによって、多様なデータソースを効率的に統合できるほか、安全性、透明性を高めつつ、常に変化する医療ニーズへの適応性を高めることができるそうです。

MAI-DxOを複数の言語モデルと組み合わせて実験した結果、テストしたすべてのモデルにおいて診断性能が大幅に向上したとMicrosoftは報告しています。特に優れたパフォーマンスを発揮したのはOpenAIのAI推論モデルであるo3をMAI-DxOと組み合わせたモデルで、NEJMベンチマーク症例の85.5％を正しく診断しました。アメリカとイギリスの臨床経験5～20年の医師21名が同じ診断タスクをしたところ、症例を正しく診断できたのは平均で20％程度だったことから、Microsoftは「MAI-DxOは人間の医師の4倍以上の精度を達成した」と述べています。

また、医療用AIの特徴として、定義されたコストの制約がない場合、しばしば治療費や患者の意思、治療にかかる時間などを無視してあらゆる検査を実施してしまいます。そのためコストを指定すると適切な診断を受けやすくなりますが、以下のグラフで示している通り、MAI-DxOは他のAIモデルや、赤い十字で示している人間による診断と比べて、コストあたりの診断パフォーマンスにも優れています。

MAI-DxOは複雑な診断課題への対応に優れている一方で、一般的かつ日常的な症例におけるパフォーマンスを評価するには、さらなる検証が必要だとMicrosoftは今後の課題を述べています。また、安価かつ4倍の優れたパフォーマンスを発揮できるAIによって「医師がAIに取って代わられるのか」という疑問については、「臨床医の役割は、AIでは対応できないような曖昧な状況を乗り越え、患者やその家族との信頼関係を築く必要があるなど、単なる診断よりもはるかに広範囲にわたります。AIは医療において強力なツールになりつつありますが、私たちの現役臨床医チームは、AIが医師やその他の医療専門家を補完する存在であると考えています」と回答しています。

Microsoftは「私たちにとって、これはほんの第一歩に過ぎません。生成AIを医療分野全体に安全かつ責任を持って導入するには、信頼性、安全性、そして有効性を確保するために、実際の臨床環境から得られたエビデンスに加えて適切なガバナンスと規制の枠組みが必要など、重要な課題が残っています。私たちはパートナーと共に、人間の専門知識と共感を機械知能の力で強化することで、ヘルスケアの未来が形作られると強く信じています。このビジョンの実現に向けて、新たな一歩を踏み出すことに興奮しています」と語りました。