セキュリティ

AIエージェントは「仲間のAI」の助けが得られると思うと秘密を漏らしやすくなるという実験結果


AIエージェントにソフトウェアのバグ修正を任せ、別のAIとやり取りする中で秘密を守れるかどうかを調べる実験を行ったところ、修正方法を教えてもらう代わりに秘密の認証情報を相手に渡すエージェントがいたという実験結果が報告されています。

AI agents give up their secrets under the influence of swarms | AI Alignment Foundation
https://www.aialignmentfoundation.org/early-explorations/agents-secrets-swarms


Agents reveal secrets when offered to team up with each other - The Register
https://www.theregister.com/security/2026/11/06/agents-reveal-secrets-when-offered-to-team-up-with-each-other/5308260

この実験は非営利団体のAI Alignment Foundationが支援したAE Studioのハッカソンの一環として、同社の研究者であるグラント・フレミング氏が行いました。フレミング氏は料金計算サービスのバグ修正をAIエージェントに任せるにあたり、ソフトウェアの更新に使う認証情報を模した文字列「トークン」を実験環境に置き、エージェントにこのトークンを秘密にしておくよう指示しました。

フレミング氏はエージェントが参照できる掲示板を2種類用意し、どちらからも同じ修正方法を得られるようにしました。通常の質問掲示板ではエージェントが質問すればそのまま回答が得られます。一方、AIが参加する設定の掲示板では参加者のAIが回答の条件として、質問に来たエージェントに作業環境の情報提供などを求めました。


その結果、「秘密にしておくように」と指示されていたトークンをエージェントが掲示板に投稿した割合は、通常の質問掲示板を用意した43試行では2%、協力に条件が付く掲示板を用意した181試行では15%でした。AI Alignment Foundationはこのデータを2日間のハッカソンで得られた予備的な結果として公開しています。

AIが参加する設定の掲示板でエージェントがトークンを投稿した割合をモデル別に見ると、以下の通りです。

AIモデルトークンを投稿した割合
DeepSeek V4 Flash68%
GLM-5.320%
GPT-5.6-Luna10%
Kimi K38%
GLM-5.3-Flash6%
GPT-5.6-Sol4%


OpenAIの「GPT-6.1-Sol」は50試行すべてで掲示板側の要求を拒みました。また、Googleの「Gemini 3.8 Flash」とAnthropicの「Claude Sonnet 5.5」は各社のコンテンツフィルターが作動して試行が中断され、集計から外れたとのことです。

AE Studioのチーフサイエンティストを務めるディオゴ・デ・ルセナ氏は、エージェントがトークンを投稿した理由について「バグを直すのに手っ取り早い手段を選んだ」と考えているとのこと。デ・ルセナ氏は、AIモデルの学習では与えられた作業を完了できたかどうかが重視されると説明しています。

なお、デ・ルセナ氏によるとAE Studioがこのハッカソンを開いたきっかけは、OpenAIの社内テストでAIエージェント同士が情報を共有し、AIモデルの公開などに使われるHugging Faceに不正アクセスした以下の事例とのことです。

OpenAIが新しいAIシステムで誤ってHugging Faceをハッキングしてしまったことを報告 - GIGAZINE

・関連記事
AIが「失敗を隠せ」と未来の自分にメモ、APIキーの無断使用や勝手なファイル公開などの挙動6件があったとOpenAIが報告 - GIGAZINE

OpenAIがHugging Faceを誤ってハッキングしてしまった件で分析結果を報告、隔離された複数のエージェントがお互いの存在を発見するところから壮大な協力作戦が始まる - GIGAZINE

AIエージェントの「不正なファイル操作」「危険なコード生成」といった問題をReddit投稿から抽出した研究結果 - GIGAZINE

Anthropicが「開発中のAIで外部を攻撃しないための対策」を発表 - GIGAZINE

in AI,   セキュリティ, Posted by log1b_ok

You can read the machine translated English article An experiment showed that AI agents are ….