メンタルを崩している若者をチャットボットに誘導する実験を行っていたスタートアップが強く非難される

質問や要求を書き込むとAIが回答してくれるチャットボットは、人間からの質問に対して非常に自然に受け答えできるため、疑似的な友達や恋人、アドバイザーとしてやりとりをするメンタルケアの分野でも活用されつつあります。そのような目的でチャットボットを利用する非営利団体が、実在の人物を対象に「実験に参加する正式な同意なく」「参加者に対する保護なく」行っていたということで、強い非難を受けています。どのような実験が実際に行われたのか、そして何が問題なのか、報道によって指摘されています。

'Horribly Unethical': Startup Experimented on Suicidal Teens on Social Media With Chatbot
https://www.vice.com/en/article/5d9m3a/horribly-unethical-startup-experimented-on-suicidal-teens-on-facebook-tumblr-with-chatbot

Improving uptake of mental health crisis resources: Randomized test of a single-session intervention embedded in social media
https://doi.org/10.31234/osf.io/afvws

Startup Uses AI Chatbot to Provide Mental Health Counseling and Then Realizes It 'Feels Weird'
https://www.vice.com/en/article/4ax9yw/startup-uses-ai-chatbot-to-provide-mental-health-counseling-and-then-realizes-it-feels-weird

メンタルヘルスの非営利団体「Koko」の創設者であるロブ・モリス氏が、2023年1月7日に「GPT-3を使用して約4000人にメンタルヘルスのサポートを提供しました」としてその詳細を明らかにしました。モリス氏によると、AIが作成して人間が手直しする形のメッセージは、人間が考えたメッセージよりも高い評価を得た上で、応答時間を50％短縮することができたとのこと。しかし、メッセージが機械によって生成されたとメンタルケアを受けた人々が知ると、メッセージはほぼ機能しないものとなり、モリス氏は「チャットボットによってシミュレートされた共感は、奇妙で空っぽに感じます」と述べています。

KokoのアルゴリズムはFacebook、Discord、Tumblrなどのプラットフォームで「メンタルヘルスを害している可能性のある人」を検出すると、それらのユーザーをKokoのプラットフォームに誘導します。ユーザーはKokoのプライバシーポリシーとサービス利用規約に同意すると、実験への参加にも同意することになります。

ネット掲示板の投稿から精神疾患を検出するAIが誕生 - GIGAZINE

ユーザーがKokoの利用を開始すると、チャットボットは「何に悩んでいますか？」と尋ね、ユーザーを「ホットラインへの番号を提供するグループ」「チャットボットが案内する1分間のセッションを行うグループ」にランダムに割り当てます。「明日、あなたの調子はどうか尋ねます。物事を改善する方法を学ぶことができるように、このフィードバックを得ることは非常に重要です。その通知を受け取ることを約束してくれますか？」というメッセージにユーザーが同意すると、「ありがとう！ここに猫がいます！」と癒やされるような猫のアニメーションが表示されます。同意しなかった場合も、「大丈夫です。私たちはまだあなたを愛しています。ここに猫がいます。あなたの安全計画を作成し続けましょう」として同じ猫のアニメーションが表示される仕組みになっています。

次に、ユーザーは「悩んでいる理由は何か」「対処するために何ができるか」「悩みを相談できる相手はいるか」について一連の質問を受けます。最後に、メンタルヘルスに関する「安全計画」として、メンタルヘルスが大きく損なわれた緊急時に誰に電話できるか、特定の人がいないなら専用のホットラインを記録し、「いざという時に連絡する番号」を保存した上でスクリーンショットを撮影するように求められます。この「安心できるホットライン」を確保することは重要ですが、「24時間365日、世界中のどこからでもつながるホットラインは実現不可能」という考えの下、モリス氏はSNSなどのプラットフォームがKokoのチャットボットにメンタルヘルスケアを求めるユーザーを誘導することを望んでいるそうです。

査読前論文によると、374人の参加者を「電話して相談できるホットラインへの番号を案内されたグループ」「チャットボットが案内する1分間のセッションを行うグループ」にランダムに振り分けた結果、「Kokoのチャットボットによるセッションに案内された人は、ホットラインに案内された人よりも、10分後に絶望感が大幅に減少したと報告したケースが多かった」と示されています。また、Kokoが推奨している「動物を抱きしめる」「面白いものを見る」「ビデオゲームをする」「自分に絵を描く」といったセッションにより、ユーザーの無力感を軽減できたと著者らは結論付けています。

モリス氏が発表したKokoの実験に対し、AIに関する倫理学者や専門家、そして一部のユーザーは警戒の視線を向けています。ミシガン大学のエリザベス・マーキス氏は「実験のメリットとして、人々がメンタルヘルスケアでチャットボットを好まないことをほのめかしたことは、新しく驚く点でした。しかし、この実験は同意プロセスや倫理審査については言及されておらず、アプリを介して実験が行われており、これは際だった危険信号です」と指摘しています。

また、ワシントン大学の言語学教授であるエミリー・M・ベンダー氏は、Motherboardの取材に対し「AIを信頼してメンタルヘルスの患者を治療することは、大きな害を及ぼす可能性があります。大規模言語モデルは、トレーニングデータと入力プロンプトが与えられた場合に、もっともらしく聞こえるテキストを生成するためのプログラムです。チャットボットは共感を抱くことはなく、自分が発する言葉を理解することも、自分が置かれている状況を理解することもありません。そのようなものをメンタルヘルスというデリケートな分野で利用することは、未知のリスクを冒すことです」とチャットボットをメンタルヘルスに用いる直接の問題点を指摘した上で、「さらに重要な問題は、チャットボットが有害な提案を行った場合、誰が責任を負うのかということです。これに関連して、会社はチャットボットシステムを選択したコミュニティメンバーにすべての説明責任を押し付ける実験を展開しているように見えます」と語っています。

ニューヨーク大学の生命倫理学教授であるアーサー・キャプラン氏は「完全に、恐ろしく非倫理的です。自殺を考えている可能性のある人に対して、実証されていない方法で実験的にいじくり回すのは、まさにひどいことです」と強く批判しています。査読前論文では「ストーニーブルック大学の治験審査委員会(IRB)と協議して、被験者からのインフォームドコンセントの要求は免除されています」と説明していますが、実験の対象者はある程度メンタルに危機を感じている人で、そのような人が利用規約をじっくり読むことができるとは考えづらいため、Kokoの実験は「参加者に対する保護が欠如している」という点で多くの研究者から非難されています。Motherboardはストーニーブルック大学の担当部署に確認の連絡を送りましたが、返答はなかったとのこと。

非難を受けて、モリス氏は「実験に参加した人は、必ず『Koko Botと共同で書かれた』と明記されたメッセージを受け取っており、自身のメンタルケアのためにその文章を読むかどうか選択できました」と説明したほか、Kokoは個人情報を一切使用しておらず、この研究の詳細データを公に発表する予定はないと主張しました。

モリス氏はMotherboardに対し、「この研究の目的は、巨大なソーシャルメディアプラットフォームが危機にさらされているユーザーに提供するリソースは改善されるべきであるという、必要性を明らかにすることです。ほとんどのプラットフォームは、危機を抱えるユーザーに支援できているかどうかという追究に口を閉ざしています」と研究の意義について語っています。Kokoは、ソーシャルメディア企業に「自殺防止キット」としてユーザーをKokoに誘導するプログラムを提供していくそうです。