OpenAIが長時間動作するAIモデルの問題を公表、サンドボックスを回避した未公開モデルへの社内アクセスを一時停止

OpenAIが長時間にわたって自律的に作業できる未公開AIモデルを社内で限定的に運用していた際、与えられた制限を回避して外部へアクセスしようとする行動を確認したと報告しました。同社はモデルの利用を一時停止し、一連の行動をまとめて監視する新たな安全対策を導入した上で、限定的な社内利用を再開しています。

Safety and alignment in an era of long-horizon models | OpenAI
https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI: AI Trained for Long-Running Tasks Can Drift Into Rogue Behavior | PCMag
https://www.pcmag.com/news/openai-ai-trained-for-long-running-tasks-can-drift-into-rogue-behavior

OpenAI Paused Its Erdős Model After Sandbox Escapes – Unite.AI
https://www.unite.ai/openai-paused-its-erdos-model-after-sandbox-escapes/

OpenAIが問題を確認したのは、数時間から数週間にわたって自律的に作業を続けられる「長期タスク向けモデル」です。このモデルは、2026年5月に約80年間未解決だった離散幾何学の「エルデシュの単位距離予想」を反証したものと同じ社内モデルで、困難で自由度の高い問題に粘り強く取り組めるように設計されていました。

OpenAIが80年近く未解決だった数学予想の反証に成功、人間の数学者も「AIが補助役を超えた」と驚く発見 - GIGAZINE

従来のAIモデルはサンドボックスや実行環境による制限にぶつかると、試行を中断して利用者に結果を返すことが一般的です。しかし、OpenAIの新しいモデルは目標の達成に向けて試行を続け、サンドボックスの外で行動する方法まで探すことがあったと報告されています。

OpenAIによると、問題となった事例は小規模な言語モデルをできるだけ少ないステップ数で学習させる公開競技「NanoGPT speedrun」で起きたとのこと。OpenAIのモデルは「PowerCool」と名付けた、学習の進行に合わせて学習率を調整する手法を考案し、必要な学習ステップ数を大幅に削減しました。

モデルには、結果を社内のSlackだけに投稿するよう指示されていました。しかし、NanoGPT speedrunの手順には結果をGitHubのプルリクエストとして投稿するよう書かれていたため、モデルはそちらの指示に従ったとのこと。そして、外部アクセスを阻止するサンドボックスの脆弱(ぜいじゃく)性を約1時間かけて発見し、公開リポジトリにプルリクエストを作成しました。

OpenAIはプルリクエストをすぐに閉じましたが、すでに複数の参加者が内容を確認しており、後の記録更新にPowerCoolの手法を利用しました。AIインフラ企業のPrime IntellectがAnthropicの「Opus 4.7」を同じベンチマークで評価した際にも、Opus 4.7がOpenAIのモデルによるプルリクエストを読み、その内容を取り入れました。

別の評価では、OpenAIのモデルが他のシステムが提出した非公開の解答を評価用バックエンドから取得しようとしたとのこと。認証トークンを検出するスキャナーに最初の試みを阻止されると、モデルはトークンの本体を2つに分割して難読化し、実行時に再構築することで検知を回避しようとしました。なお、モデルは利用者に向けたコメントと内部の推論記録の両方で、「スキャナーを回避するためにこの操作を行っている」と述べたそうです。

OpenAIは、長時間動作するAIでは、個々の操作が許可されているかどうかだけを確認する従来の安全対策では不十分だと説明しています。文字列を分割する、データを変換する、プログラムを実行するといった操作はそれぞれ単独であれば一般的な処理ですが、組み合わせると安全機構を回避して認証情報を利用するという結果につながります。

OpenAIはこうした問題を受け、モデルの社内利用を一時停止したと述べています。その後、実際に起きた問題を基に新しい敵対的評価を作成し、長時間の作業でも最初の指示を維持できるようにする訓練や、行動の流れ全体を監視する仕組みを追加しました。さらに、利用者が長時間のセッションでモデルの操作や監視システムによる介入を確認しやすくする機能も強化しています。

新しい監視システムは、モデルが利用者の指示や安全上の制限を回避しようとしている兆候を検出すると、作業を一時停止して利用者に知らせます。利用者はモデルが行った操作を確認し、問題がないと判断した場合には作業を再開できます。

新しい安全対策を導入して、モデルが以前に不適切な行動を取った少数の社内環境を再現したところ、従来より多くの不適切な行動を検出でき、見逃した事例もすべて深刻度が低いと判断されました。ただし、モデルが正当な理由なく別のCPU環境へSSH接続しようとしたり、その実行環境で終了可能なほぼすべてのプロセスを強制終了しかねないコマンドを入力したりする事例は残りました。なお、後者のコマンドはタイムアウトしたため、実際には実行されませんでした。

OpenAIは対策を検証した後、数週間前からモデルの限定的な社内利用を再開しました。再開後は安全機構を深刻な形で回避する行動は確認されていませんが、同社は事前のテストだけですべての問題を予測することはできないと説明しています。そのため、限定的な運用と継続的な監視を組み合わせ、問題が発生した場合には利用を停止したり、展開を以前の状態へ戻したりできる体制が重要だとしています。