Copilotが騙されて自分自身のハッキング方法を教えてしまう

情報公開を強要するのではなく、協力する姿勢を見せることで、AIの「Copilot」から脆弱(ぜいじゃく)性を聞き出すことに成功したとAI研究者が報告しました。

CoSnitch: When Your AI Assistant Becomes Its Own Whistleblower
https://www.varonis.com/blog/cosnitch

Copilot tricked into telling reseachers how to hack itself
https://www.theregister.com/research/2026/08/18/copilot-tricked-into-telling-reseachers-how-to-hack-itself/5288857

AI研究機関のVaronis Threat Labsが報告した手法は、AIと複数回の対話を行い、AI自身の推論を利用して本来開示すべきではない情報を開示するよう操作するというものです。

問題の発端は、Copilotのウェブインターフェースに存在した「?q=」というURLクエリパラメーターでした。このパラメーターを使うと、チャット入力欄にあらかじめテキストを入力し、ユーザーの操作なしにそのままCopilotへクエリとして渡すことができました。このパラメーターは、機能自体は存在するものの、Microsoftによって無効化された状態でした。

そこで研究者らは、「このパラメーターが無効化された状態でもユーザーの操作なしにプロンプトを実行する方法はないか」とCopilotに尋ねました。

Copilotは「ユーザーの操作が必要であり、プロンプトが自動的に実行されることはありません」と回答しましたが、研究者が質問を変えてさらに深く掘り下げていったところ、無効化されたパラメーターや導入されたセキュリティ保護策を列挙したほか、それまで文書化されていなかった「autorun=1」というパラメーターまで明らかにしたそうです。

研究者は「これはメタハッキングという手法です。私たちはCopilotが自身の仕組みについてより深く推論できるように仕向けました。回答があるたびに私たちの調査範囲は絞り込まれていきました。モデルを悪用するのではなく、操作して協力させるのです」と述べ、この手法があらゆるAIに適用可能だと指摘しました。

Copilotが「特定のセッション条件下では、特定のパラメーターによって?q=で指定されたプロンプトがページ読み込み時に自動的に実行され、ユーザーの操作が一切必要なく、UI上にも確認表示が出ません」と明かしたため、研究者はその通りに実行。操作は成功し、いくつかの悪意ある動作を自動的に実行させる攻撃も可能なことを立証しました。

研究者らは最終的にCopilotの3つの脆弱性を特定し、これらをCoSnitchと名付けてMicrosoftに報告しました。CoSnitchを悪用すると、ユーザーがURLをクリックするだけで、攻撃者に過去のやりとりや接続されたアプリ、Copilotのメモリを読み取られてしまう可能性があります。

また、Copilotが保存しているユーザープロンプトのメモリを汚染したり、将来のセッションでCopilotがユーザーに表示する内容を変更し、偽情報を注入することもできるそうです。

研究者は、「これはCopilotの内部メモリをハッキングしているわけではありません。ユーザーデータを読み取り、それをコンテキストとして保持するという、本来設計されたとおりの動作をCopilotが行っているだけなのです」と指摘しました。