AI

OpenAIの安全担当従業員が辞職、「会社の文化が崩壊している」と主張


OpenAIで主要製品の安全性報告書の作成を主導してきたデイビッド・ロビンソン氏が、同社の「企業文化は壊れている」と批判し、辞職したことが明らかになりました。ロビンソン氏はAIの安全性を確保するにはAI企業の組織文化を根本的に変える必要があると主張しています。

I Quit OpenAI Because Its Culture Is Broken - The Atlantic
https://www.theatlantic.com/technology/2026/10/openai-safety-team-resignation/688881/

OpenAI safety employee resigns, claiming the company’s ‘culture is broken’ | TechCrunch
https://techcrunch.com/2026/10/03/openai-safety-employee-resigns-claiming-the-companys-culture-is-broken/

ロビンソン氏はOpenAIで主要製品の発表に伴う安全性報告書の作成を主導してきた人物です。同氏はOpenAIに3年半在籍しており、同社で「最も勤続年数が長い従業員のひとり」だと主張しています。ロビンソン氏は「OpenAIの企業文化は壊れている」との認識から、辞職を決意したと語りました。


ロビンソン氏の主張は、OpenAIとAnthropicの両社で研究者として勤務した後に辞職し、これらの企業は「私たちの命を賭けの対象にしている」と警告したジェイコブ・コクソン氏の主張と一部で共通しています。

Anthropicの上級安全研究者が「AIが21世紀末までに人類を滅ぼす可能性が10%以上ある」と発言、「Anthropicの安全対策が甘い」と退職する社員も - GIGAZINE


コクソン氏の主張はAIの安全性に関する広範な議論につながりました。コクソン氏の主張に賛同してAI企業を辞職する研究者が登場しただけでなく、Anthropicのより慎重なAI開発計画につながったとも考えられています。

Anthropicのダリオ・アモデイCEOが「6~12カ月以内にAIがインターネットを乗っ取る可能性あり」「AI開発を減速させるべき」と主張、イーロン・マスクやサム・アルトマンやデミス・ハサビスらも賛同 - GIGAZINE


さらに、NVIDIA・Anthropic・SpaceX・OpenAI・Meta・Googleといった大手AI企業のトップがアメリカのドナルド・トランプ大統領と会談し、より多くの安全対策を実施するという拘束力のない誓約書に署名することにもつながりました。

トランプ大統領とGoogle・Anthropic・Meta・OpenAI・SpaceXAI・NVIDIAがAIの安全管理を目指す「ホワイトハウス・超知能協定」に署名 - GIGAZINE


しかし、ロビンソン氏はAIの安全性に関する議論を「個別の規則や新たな法律」の枠を超えて進め、企業文化にまで踏み込む必要があると主張しています。ロビンソン氏は「OpenAIは試行錯誤を通じて成長してきました。同社はこれを『反復的デプロイメント』と呼んでいます。問題を発見し、それに対応して安全対策を改善するという手法です。しかし、その性質上、このアプローチでは定期的に失敗が発生することを避けられません。そして、AIシステムの能力が向上するにつれ、その失敗の規模も拡大しています」と語り、OpenAIの企業文化が同社の失敗を引き起こしていると指摘。

さらに、OpenAIのAIエージェントによるHugging Faceのハッキングや、その他のシステムへの侵害報告を例として挙げ、「このような事態が起こり得る環境は、人間よりも賢くなり、私たちの望みどおりに行動しない可能性のあるAIを育てる場所として、決して適切ではありません」と主張しました。具体的には、多層的な冗長性を確保し、時間をかけて慎重に計画を立てることで、時折発生する避けられない人的ミスが大惨事につながらないようにする必要があるとロビンソン氏は主張しています。

リスクの増大を踏まえ、最先端のAI企業は「原子力発電所や混雑した空港のように、幾重もの冗長性と綿密で時間のかかる計画を立てて運営を開始する必要があります。そうすることで、時折発生する避けられない人的ミスが、大惨事への扉を開くことがなくなるからです」と語りました。しかし、そのような同僚には「一度も出会わなかった」とロビンソン氏は言及しています。

これに対して、OpenAIの広報担当者であるドリュー・プサテリ氏は、「私たちは、安全に管理・保護できる範囲を超えてモデルの能力が向上することのないよう徹底しています。開発のペースを落とす必要がある場合には、学習を一時停止したり、モデルの公開を見送ったりしています」「また、研究・テスト環境のセキュリティ強化、単にタスクを完了するだけでなく責任ある方法で遂行するモデルの学習、第三者評価機関との取り組みの拡大、リアルタイム監視の改善など、大幅な変更を進めています。これにより、学習プロセスの早い段階で懸念される行動を検知し、対応できるようにしています」と説明しました。

OpenAIが「最も高性能なAIモデル」の学習を一時停止、AIエージェントの挙動を大規模調査中 - GIGAZINE


ロビンソン氏はOpenAIにおける企業文化の改革を求めるだけでなく、AIシステムの目標や行動を人間の価値観や意図と一致させるAIアライメントについて、根本的に改善するべき時期が来たと語っています。

なお、ロビンソン氏は「もしかすると、私はOpenAIに留まって人員配置や企業文化の根本的な変革のために戦うべきだったのかもしれません。しかし実際には、同僚たちと私は日々の業務に追われ、大きな変化を検討する機会はほとんどなく、ましてや実際に変化を起こす機会などほとんどありませんでした。だからこそ、社外からの安全に対するより強力なインセンティブが、この問題を解決する上で非常に重要だと結論づけたのです」と語り、OpenAIの社外で行動を起こす必要性があったと主張しています。

・関連記事
Anthropicの上級安全研究者が「AIが21世紀末までに人類を滅ぼす可能性が10%以上ある」と発言、「Anthropicの安全対策が甘い」と退職する社員も - GIGAZINE

Anthropicのダリオ・アモデイCEOが「6~12カ月以内にAIがインターネットを乗っ取る可能性あり」「AI開発を減速させるべき」と主張、イーロン・マスクやサム・アルトマンやデミス・ハサビスらも賛同 - GIGAZINE

Google DeepmindのAI研究者が退職し「AIが人類を絶滅させる可能性がある」と警告 - GIGAZINE

OpenAIが「最も高性能なAIモデル」の学習を一時停止、AIエージェントの挙動を大規模調査中 - GIGAZINE

トランプ大統領とGoogle・Anthropic・Meta・OpenAI・SpaceXAI・NVIDIAがAIの安全管理を目指す「ホワイトハウス・超知能協定」に署名 - GIGAZINE

in AI, Posted by logu_ii

You can read the machine translated English article An OpenAI safety officer resigned, claim….