AmazonのAI「Amazon Q」は重度の幻覚によってAWSデータセンターの場所などの機密データを漏えいしているとの指摘

2023年11月29日に発表されたばかりのAIチャットサービス「Amazon Q」にプライバシーの問題がある可能性が報じられました。一部の従業員によるとAmazon Qはひどい幻覚(ハルシネーション)に襲われることがあり、Amazon Web Services(AWS)のデータセンターの場所などを漏らすことがあるそうです。

Amazon’s Q has ‘severe hallucinations’ and leaks confidential data in public preview, employees warn
https://www.platformer.news/p/amazons-q-has-severe-hallucinations

Amazon's AI Chatbot, Amazon Q, Faces Criticism and Security Concerns
https://www.cryptopolitan.com/amazon-q-criticism-and-security-concerns/

ニュースメディアのPlatformerが入手したリーク文書によると、Amazon QはAIによく見られる「偽の情報を真実のように出力する」という現象「幻覚」を起こすことがあり、AWSのデータセンターの場所や未リリース機能などの情報を漏らしてしまうとのこと。

ある従業員はこのインシデントを「夜間にエンジニアを呼び、週末を通して修正作業をさせるほどひどいレベル」と説明しているそうです。

報道後、Amazonの広報担当者は「Amazon Qから機密情報は漏れていない」との短いコメントを発表しました。

Amazon Qは「新しいタイプの生成AI」との触れ込みで登場したチャットAIで、企業のビジネス環境に合わせてカスタマイズしたり、Amazon S3やDropboxなどの外部アプリと接続したりできる点が強みです。

ユーザーのビジネス環境に合わせてカスタマイズできるチャットAI「Amazon Q」などの新サービスがAWSのカンファレンスイベント「AWS re:Invent」で発表される - GIGAZINE

AWSのアダム・セリプスキー最高経営責任者は以前、セキュリティやプライバシーに関する懸念から、多くの企業がAIアシスタントの企業利用を禁止していると述べていました。こうした業界の課題に応えるため、Amazonはコンシューマー向け製品よりも安全でプライバシーに配慮したAmazon Qを設計したとされています。

しかし、ChatGPTのようなチャットボットに代わる安全なものとして位置づけられているにもかかわらず、従業員がそのセキュリティとプライバシー機能について不安を表明したことにより、Amazon Qが他の大規模言語モデルと同じ問題を抱えている可能性が示唆されました。