対話型AI「ChatGPT」が生成した「患者への回答」は人間の医師による回答より好まれることが研究で判明

OpenAIが開発した対話型AIのChatGPTは、アメリカの医師免許試験であるUnited States Medical Licensing Exam(USMLE)に合格できるという研究結果も報告されるほど精度の高い文章を生成することが可能であり、さまざまな分野での応用が期待されています。新たにアメリカ・カリフォルニア大学サンディエゴ校の研究チームが行った研究では、ChatGPTが生成した「患者へのアドバイス」と人間の医師によるアドバイスを専門家が比較した結果、ChatGPTのアドバイスの方が高い評価を得られることがわかりました。さらに、一部の医療機関では医療従事者の負担を減らすため、AIを利用する試みが始まっていることも報じられています。

Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum | Health Informatics | JAMA Internal Medicine | JAMA Network
https://dx.doi.org/10.1001/jamainternmed.2023.1838

Study Finds ChatGPT Outperforms Physicians in High-Quality, Empathetic Answers to Patient Questions
https://today.ucsd.edu/story/study-finds-chatgpt-outperforms-physicians-in-high-quality-empathetic-answers-to-patient-questions

AI has better ‘bedside manner’ than some doctors, study finds | Artificial intelligence (AI) | The Guardian
https://www.theguardian.com/technology/2023/apr/28/ai-has-better-bedside-manner-than-some-doctors-study-finds

研究チームは「ChatGPTは患者からの質問に対して適切な返答ができるのか？」という疑問を確かめるため、患者から寄せられた質問に対するChatGPTの回答と医師の回答を比較する実験を行いました。カリフォルニア大学サンディエゴ校医学部の教授であり論文共著者のDavey Smith氏は、「ChatGPTは医師免許試験に合格できるかもしれませんが、患者からの質問に直接、的確かつ共感的な返答をするのは別の話です」と述べています。

実験に使用する患者の質問と医師の回答を収集するため、研究チームは海外掲示板のRedditにある「AskDocs」というフォーラムに目を向けました。AskDocsでは患者からの質問に対し、モデレーターによって身元が検証された医師が回答するというフォーラムであり、膨大な数の質問と回答が行われています。

研究チームはAskDocsから195件の質問と回答をランダムに収集し、元の質問をChatGPTに与えて回答を生成させました。そして3人の医療専門家に対し、寄せられた質問とChatGPTによる回答および医師による回答を評価してもらいました。回答を評価した医療専門家には、それぞれの回答がChatGPTによるものか人間の医師によるものかは開示されなかったとのことです。

実験の結果、医療専門家らは78.6％の割合で人間の医師による回答よりもChatGPTの回答を好み、「質が高い」と評価される回答の割合もChatGPTの方が約3.6倍も高いことがわかりました。さらに、患者の質問に対して「共感的」「非常に共感的」と評価される回答の割合は、人間の医師の場合は4.6％だったのに対し、ChatGPTの場合は45.1％に達しました。

研究チームによると、ChatGPTの回答は人間の医師による回答よりも文章量が多く、この点が回答に対する高評価につながった可能性があるとのこと。論文の共著者でありナース・プラクティショナーのJessica Kelley氏は、「ChatGPTのメッセージはニュアンスのある正確な情報で応答し、患者の質問に対して医師の回答よりも多くの側面に対応することが多くありました」と述べています。

論文の共著者でカリフォルニア大学サンディエゴ校医学部の准教授を務めるAaron Goodman氏は、「私がこう言うことになるとは思いもしませんでしたが、ChatGPTは私のメール受信箱に出したい処方箋です。このツールは、私の患者に対するサポートの仕方を変えてくれるでしょう」とコメント。アメリカ・ブリンマー大学でコンピューターサイエンスの助教を務める共著者のAdam Poliak博士は、「私たちの研究ではChatGPTと医師を比較しましたが、最終的な解決策は医師を追い出すことではありません。その代わりに、医師がChatGPTを活用することで、より良い共感的なケアを行うことができるのです」と述べました。

既にカリフォルニア州とウィスコンシン州では、OpenAIの大規模言語モデルであるGPT-4を医療現場で使用する試みも進行中です。

ChatGPT Will See You Now: Doctors Using AI to Answer Patient Questions - WSJ
https://www.wsj.com/articles/dr-chatgpt-physicians-are-sending-patients-advice-using-ai-945cf60b

ウィスコンシン州に拠点を置くEpicという医療テクノロジー企業は、患者が医療従事者にメッセージを送ることができるツール「MyChart」を展開しています。新型コロナウイルス感染症(COVID-19)のパンデミック中にMyChartの利用者は大幅に増加し、2020年第1四半期には1億600万件だったログイン数が、2023年第1四半期には2億6000万件に増加したとのこと。

2023年4月、EpicはMicrosoftが提供するクラウドサービスのAzureを通じ、OpenAIのGPT-4を利用して患者の質問に対する返信を生成するテストを開始しました。カリフォルニア大学サンディエゴ校医学部もこのテストに参加しており、プライマリ・ケアを担当するMarlene Millen氏は、COVID-19のパンデミックが起きてから患者から寄せられるメッセージが急増しており、AIによる返信支援ツールは一部の医療スタッフにとって希望になっていると述べています。

医療従事者が患者からのメッセージをクリックすると、EpicのAIツールはメッセージ内の情報と病院に保存されている電子カルテの短縮版を参照し、即座に返信の下書きを生成してくれるとのこと。医療従事者はメッセージの内容が正しければ、細かい部分を編集したりそのまま返信したりすることができ、間違っている場合は自分で書き直すことも可能です。Millen氏によると、AIは患者のメッセージに「旅行から帰ってきた」といった文言が記されていた場合、旅行が良いものだったかどうかを返信で尋ねるなど、「医療従事者がするであろう人間的なタッチ」も再現できるそうです。

その一方で、ChatGPTなどの対話型AIは時にありもしない事柄をでっち上げることも知られており、内容をそのまま信頼することはできません。そのため、カリフォルニア大学サンディエゴ校医学部のチームは、AIを利用して医学的アドバイスを求める質問に答えることは許可しておらず、処方箋の要求や文書の請求といった限られた質問への返信に限定してAIを使用しているとのことです。