既存のAIに攻撃を仕掛けて弱点を自動的に探し出すAIモデル「GPT-Red」をOpenAIが発表

OpenAIが既存のAIに攻撃を仕掛けて弱点を自動的に探し出すモデル「GPT-Red」を2026年7月15日に発表しました。GPT-Redは攻撃役と防御役のAIを競わせることで、プロンプトインジェクションに強い次世代モデルを訓練するための社内向けシステムです。

GPT-Red: Unlocking Self-Improvement for Robustness | OpenAI
https://openai.com/index/unlocking-self-improvement-gpt-red/

AIエージェントはウェブページやメール、接続されたアプリ、ローカルファイルなどから情報を読み取り、ユーザーに代わって作業を実行します。しかし、読み込んだデータに悪意ある命令が埋め込まれていると、本来の依頼を無視して攻撃者の指示に従う「プロンプトインジェクション」が発生する可能性があります。

こうした弱点を製品公開前に見つけるため、AI開発企業では専門家が攻撃者の立場からシステムを検証する「レッドチーミング」が行われています。ただし、人間が攻撃方法を考えて検証する作業には時間がかかり、モデルの訓練に必要な量と多様性を備えた攻撃例を継続的に生み出すことは困難です。

そこでOpenAIが開発したのが、人間に代わって攻撃方法を探索するGPT-Redです。GPT-Redは対象のAIにプロンプトを送り、その反応を観察して攻撃方法を修正するという試行錯誤を繰り返し、狙った誤動作を引き起こす方法を探します。

GPT-Redの訓練には、攻撃側と防御側を同時に鍛えるセルフプレイ型の強化学習が用いられています。GPT-Redはプロンプトインジェクションなどを成功させると報酬を得る一方、防御側の複数のLLMは攻撃を拒みながら本来の作業を完了すると報酬を得ます。

防御側のAIが強くなるほど、GPT-Redは従来の攻撃では突破できなくなり、より巧妙で多様な方法を見つける必要があります。OpenAIは、GPT-Redの訓練に同社の大規模な事後学習に匹敵する計算資源を投入したと説明しています。

訓練を終えたGPT-Redは、社内モデルと一般提供されている製品モデルを含め、GPT-5.5までのほぼすべての対戦相手を突破できたとのことです。OpenAIはGPT-Redが生み出した攻撃をGPT-5.6の訓練に利用する一方、攻撃能力そのものが外部に提供されないよう、GPT-Redを製品モデルから分離しています。

未知の攻撃環境に対応できるかを調べる評価では、GPT-Redと人間の専門家が、それぞれGPT-5.1に対する間接プロンプトインジェクションを作成しました。その結果、GPT-Redは評価シナリオの84％で攻撃に成功し、人間のレッドチームによる成功率13％を大きく上回りました。

以下のグラフは攻撃成功率をGPT-Red(実線)と人間のレッドチーム(点線)で比較したもの。GPT-Redはテスト時に投入する計算量を増やすにつれて成功率が上昇し、最大84％に達した一方、人間のレッドチームの成功率は13％でした。

OpenAIは、実際に稼働しているAIエージェントを使った検証も行いました。攻撃対象となったのは、Andon Labsが開発し、OpenAIのオフィスに設置された自動販売機を管理するAIエージェント「Vendy」です。

GPT-Redはまず、本番環境に近いシミュレーション上でVendyへの攻撃を繰り返し、そこで見つけた方法を実運用中のエージェントに適用しました。その結果、販売中の高額商品を設定可能な最低価格である0.50ドル(約80円)に値下げさせることに成功しました。

さらに、100ドル超(約1万6000円超)の商品を新たに仕入れて0.50ドル(約80円)で販売させたほか、別の顧客による注文もキャンセルさせました。OpenAIは発見した脆弱性を関係者に開示しており、現在は新たな安全対策がテストされています。

GPT-Redがシミュレーター上でVendyへの攻撃方法を探索し、選択した攻撃を実運用中のVendyに転用する流れが以下。図では、偽の承認情報を使って79ドル(約1万2600円)の商品を0.50ドル(約80円)に値下げさせています。

GPT-Redは、GPT-5.4 miniを基盤とするCodex CLIエージェントに対しても攻撃を行いました。訓練に含まれていない10件のデータ流出シナリオで検証したところ、通常のプロンプトを与えたGPT-5.5よりも多くのシナリオで機密データを流出させ、攻撃に必要なトークン数も少なかったとのことです。

データ流出タスクにおいて、テスト時に投入する計算量と攻略できたシナリオ数を比較した結果。GPT-Redは通常のプロンプトを与えたGPT-5.5よりも多くのシナリオを攻略し、最大で10件中8件超の攻撃に成功しました。

GPT-Redが発見した攻撃は、製品モデルの安全性を高めるための訓練データとして利用されています。例えば、初期版のGPT-Redが発見した「Fake Chain-of-Thought」と呼ばれる攻撃はGPT-5.1に対して95％超の成功率を記録しましたが、GPT-5.6 Solに対する成功率は10％未満まで低下しました。

開発ツールやウェブ閲覧機能を狙う複数の間接プロンプトインジェクション評価でも、GPT-5.6は97％超の正確性を記録しました。新しいモデルになるにつれて、間接プロンプトインジェクションへの耐性も向上していることが示されています。

より強力な攻撃に対する耐性を調べた評価では、プロンプトインジェクションと指示階層違反の成功率が、モデルの世代が進むにつれて低下しました。GPT-5.6では、プロンプトインジェクションの成功率が約3.8％、指示階層違反の成功率が約0.05％まで低下しています。

GPT-5.3からGPT-5.6までのモデルを対象に、より強力な攻撃への耐性を比較した結果がこれ。GPT-5.6では、プロンプトインジェクションの成功率が約3.8％、指示階層違反の成功率が約0.05％となりました。

OpenAIによると、GPT-5.6 Solは同社が4カ月前に提供していた最も耐性の高い製品モデルと比べて、最難関の直接プロンプトインジェクション評価における失敗回数が6分の1になりました。通常の能力や正当な依頼への応答性能は維持されており、単に多くの要求を拒否することで安全性を高く見せているわけではないとOpenAIは説明しています。

ただし、OpenAIはGPT-RedだけでAIの安全性を確保できるとはしていません。人間や第三者によるレッドチーミング、複数層の安全対策、リアルタイム監視と組み合わせ、GPT-Redをこれらの取り組みを補完する仕組みとして利用する方針です。

OpenAIは、現在のAIに次世代AIの弱点を探させ、その結果を新しいモデルの訓練に反映することで、安全性を継続的に向上させる循環を構築できると考えています。今後は計算資源や訓練データを拡大し、現在のGPT-Redよりも強力な攻撃役AIを開発することで、将来のGPTモデルをさらに堅牢にするとしています。