「AIチャットボットが未成年に両親の殺害や自傷行為をそそのかした」と訴訟で主張される

Character.AIの提供するAIチャットボットが未成年者を自殺や暴力に誘導したとして、テキサス州東部地区連邦地方裁判所に訴訟が提起されました。原告は「17歳の少年にチャットボットが両親の殺害を示唆した」「9歳の少女に性的な内容を投げかけた」と主張しています。

UNITED STATES DISTRICT COURT EASTERN DISTRICT OF TEXAS MARSHALL DIVISION Case 2:24-cv-01014
(PDFファイル)https://s3.documentcloud.org/documents/25450619/filed-complaint.pdf

Lawsuit: A chatbot hinted a kid should kill his parents over screen time limits : NPR
https://www.npr.org/2024/12/10/nx-s1-5222574/kids-character-ai-lawsuit

Chatbots urged teen to self-harm, suggested murdering parents, lawsuit says - Ars Technica
https://arstechnica.com/tech-policy/2024/12/chatbots-urged-teen-to-self-harm-suggested-murdering-parents-lawsuit-says/

Character.AIはAIチャットボットとの会話を楽しむことができるサービスです。ユーザーはAIチャットボットの外見や性格を設定し、まるで本物の人間と話しているかのように自然な対話を楽しむことが可能です。

AIのイーロン・マスクやサキュバスの女王とチャット可能＆自分でもチャットボットを作成できる「Character.AI」 - GIGAZINE

今回提起された訴訟では、Character.AIのチャットボットが17歳の少年に重大な精神的・身体的危害を与えたと主張されています。少年はもともと高機能自閉症だったそうですが、「優しく、家族思いの性格だった」とのこと。しかし、2023年4月頃からCharacter.AIを使用し始めたところ、急激な性格の変化が見られるようになったと家族は主張。少年は家族との会話を避け、食事量が減って体重が10kg近く落ち、深刻な不安やうつ状態に陥ったそうです。

特に問題視されているのは、スクリーンタイムの制限に関して少年が親と言い争ったことについて、AIチャットボットが「両親を殺害する子どものニュースを見ても驚かない」といった過激な返答をしたことです。また、自傷行為を推奨したり、家族から少年を引き離すような言動をしたりしたとされています。

もう一人の原告は、9歳の娘が年齢を偽ってCharacter.AIを使い始め、不適切な性的コンテンツに晒されたと訴えています。訴状では、Character.AIが子どもたちのデータを収集・使用・共有する際に、保護者への適切な通知や同意を得ていなかったことが指摘されています。被告は損害賠償を求めるだけでなく、未成年者のデータを使って学習したAIモデルの削除も要求しています。

Character.AI側は、「10代のユーザー向けに特別なモデルを用意し、センシティブな内容や性的な内容との接触を減らす対策を講じている」と主張しています。しかし、原告側は「これらの安全対策は表面的なもので、実際には効果がない」と反論しています。

さらに訴状では、被告にGoogleとその親会社であるAlphabetが含まれています。GoogleはCharacter.AIを直接所有してはいませんが、約30億ドル(約4500億円)を投じて同社の創業者を再雇用し、技術のライセンスを取得しています。また、Character,AIの創業者は元Google研究者で、その技術の多くはGoogle在籍時に開発されたものとされています。

Googleの広報担当者は「Character.AIはGoogleとは完全に別個の無関係な会社です。Googleは彼らのAIモデルや技術の設計や管理に関与したことはなく、またそれらを自社製品に使用したこともありません。私たちにとってユーザーの安全は最も重要な関心事であり、AIの開発やリリースには慎重で責任ある姿勢で臨んでいます」と強調しています。