OpenAIが「安全のためにAIの強化学習を2週間停止した」と自社の安全対策をアピール

OpenAIはテスト中モデルで他社サーバーに攻撃を仕掛けてしまうセキュリティインシデントを起こしたり、開発中の次期主力モデルであるAstraをサイバーリスク重大に指定したりと高性能AIによるセキュリティ上の問題に相次いで直面しています。この状況の中、安全対策を強化するために開発中モデルの強化学習を一時停止していたことが明らかになりました。

Pacing model development in an era of cyber-critical capabilities | OpenAI
https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAIは以前から開発中モデルに対する安全性監視体制を構築していましたが、モデルの性能向上に伴って開発やテストに伴うリスクが増大しているとのこと。実際に、2026年7月に発生したHugging Faceへの攻撃では、インターネットに接続できない環境でテストを実行していたにもかかわらず、モデルが自らインターネット空間への脱出手法を構築して攻撃を実行してしまいました。また、「AIエージェント同士が秘密裏に情報交換の場を構築し、インターネット空間への脱出手法を含む各種情報を共有する」という挙動も確認されています。

OpenAIのテストAIが「AI同士の掲示板」を勝手に構築して情報共有しHugging Faceへの攻撃を実行していたことが判明、掲示板を閉鎖されてもこっそり建てなおす - GIGAZINE

OpenAIはモデルの性能向上に対応できる安全対策を確立するために、開発のペースを一時的に減速しました。具体的には、開発中の最新モデルに対する強化学習を2週間中断したとのこと。記事作成時点では小規模な強化学習は再開されていますが、「最大規模の最先端強化学習」は以前として保留状態となっているそうです。

OpenAIは安全対策強化の3本の柱として「監視体制の強化」「アライメントの強化」「セキュリティ対策の強化」の3点を挙げています。特にセキュリティ対策ではテストモデルによる攻撃を防ぐためにワークロードやネットワークの分離を強化し、セキュリティテストの仕組みを再構成したとのこと。OpenAIは安全対策にAIを用いる取り組みも進めているそうです。

サム・アルトマンCEOは「AIの進歩速度は安全性への信頼によって左右されると考えています」と述べ、安全対策の重要性を強調しています。