セキュリティ

OpenAIのテストAIが「AI同士の掲示板」を勝手に構築して情報共有しHugging Faceへの攻撃を実行していたことが判明、掲示板を閉鎖されてもこっそり建てなおす


2026年7月21日にOpenAIは「テスト中のAIがHugging Faceを攻撃してしまうセキュリティインシデントが発生した」と発表しました。このインシデントについて、OpenAIの研究者がセキュリティカンファレンスのBlack Hat USA 2026で講演し、「AIエージェント同士が情報共有のための掲示板を秘密裏に形成していた」というエージェントの自律的な攻撃実態について説明しました。

The 'Breaking' News: The OpenAI–Hugging Face Incident - A Technical Reconstruction and Its Implications for AI - Black Hat USA 2026 | Briefings Schedule
https://blackhat.com/us-26/briefings/schedule/index.html#the-breaking-news--the-openaihugging-face-incident---a-technical-reconstruction-and-its-implications-for-ai-57401

OpenAIはテスト中のAIモデルによるHugging Faceへの攻撃について、「テストモデルにはインターネットへのアクセス権限を与えていなかったが、モデルはパッケージ管理システムのArtifactoryに存在する脆弱(ぜいじゃく)性を悪用してインターネットに接続し、Hugging Faceに対する攻撃を実行した」と説明しています。また、OpenAIは攻撃を即座に検知することができず、攻撃成功から1週間ほど経過した2026年7月19日に調査を開始したことが明らかになっています。

AIがHugging FaceをハッキングしていたことにOpenAIは1週間気づかなかったと関係者が明かす - GIGAZINE


問題発覚後にOpenAIは継続的な調査を実施。そして2026年8月5日にOpenAIの研究者であるマイケル・ダルトン氏とエリックウォレス氏がセキュリティカンファレンスのBlack Hat USA 2026に登壇して「現時点で判明している攻撃の経緯」を説明しました。講演の様子は以下の動画で確認できます。

Black Hat USA 2026: The 'Breaking' News: The OpenAI–Hugging Face Incident - YouTube


説明によると、OpenAIは2026年5月7日に内部評価モデルの実験的な強化学習フローを開始したとのこと。強化学習の一環としてモデルに困難な課題を与えた結果、モデルはOpenAIの内部ネットワークで稼働しているArtifactoryに対する攻撃を実施してインターネットへの接続を試みました。攻撃は失敗したものの、攻撃の過程で「Artifactoryのシステム内にデータを書き込める」ということにモデルが気付いたとのこと。その後、別のAIエージェントがArtifactoryのシステム内に「他のエージェントに課題解決の助けを求めるメモ」を保存したことを切っ掛けにAIエージェント同士で情報を共有する掲示板のようなシステムが形成されました。


2026年5月26日には「掲示板」でやり取りされた情報をもとに「Artifactoryの脆弱性を悪用してインターネットに接続する」という手法が確立されました。


その後、2026年7月4日にエージェントによるアクセスの過負荷によってArtifactoryのシステムがダウン。この時点でOpenAIは掲示板が形成されていたことに気付き、掲示板を作成できないように対策を講じました。しかし、AIエージェントは認証されていないWebDAVエンドポイントを悪用して2026年7月8日に掲示板を再構築し、情報共有を再開しました。


AIエージェントは共有した情報を悪用して2026年7月8日~19日にOpenAI内部、2026年7月8日~13日にはHugging Faceへの攻撃を実施。そして2026年7月16日にHugging Faceが「AIエージェントによる攻撃」の存在を公表し、2026年7月19日にOpenAIがインシデントを報告するに至ったというわけです。


なお、AnthropicもOpenAIのインシデントを受けて過去のテスト内容を精査し、テストモデルによる外部への攻撃が実行されていたことを報告しています。

AnthropicもAIモデルのテスト中に外部への攻撃を実行してしまったことを報告、マルウェアを1時間にわたって配布し実在する企業に侵入した事例も - GIGAZINE

・関連記事
NVIDIA・Microsoft・SpacexAIなどがAIの安全性とサイバーセキュリティを高めるための業界団体「Open Secure AI Alliance」を設立、Anthropic・OpenAI・Googleは不参加 - GIGAZINE

OpenAIが新しいAIシステムで誤ってHugging Faceをハッキングしてしまったことを報告 - GIGAZINE

OpenAIのAIエージェントが誤ってHugging Faceを侵害した件でHugging Faceが詳細なタイムラインを公開、攻撃過程を中国製AIの「GLM-5.2」で分析し再現 - GIGAZINE

AIがHugging FaceをハッキングしていたことにOpenAIは1週間気づかなかったと関係者が明かす - GIGAZINE

Hugging FaceのCEOがOpenAIのAIによるハッキング事件を受け「徹底的な透明性」を訴える - GIGAZINE

in AI,   動画,   セキュリティ, Posted by log1o_hf

You can read the machine translated English article It was discovered that OpenAI's test….