OpenAIの主任安全研究者を務めるリリアン・ウェン氏が退職、AIの安全性を守る責任者が相次いでOpenAIを離れる

OpenAIで主任安全研究者を務めているリリアン・ウェン氏が、2024年11月9日に同社を退職することを報告しています。同氏は2024年8月からOpenAIの研究および安全担当のヴァイスプレジデントを務めており、それ以前は安全システムチームの責任者を務めていました。

OpenAI loses another lead safety researcher, Lilian Weng | TechCrunch
https://techcrunch.com/2024/11/08/openai-loses-another-lead-safety-researcher-lilian-weng/

ウェン氏は自身のX(旧Twitter)アカウントを更新し、「OpenAIで約7年間働いた後、退職することにしました。多くのことを学び、リセットして何か新しいことに挑戦する準備ができています」と述べ、OpenAIを退職することを報告しています。

ウェン氏はXでのポストに画像を添付しており、この画像には同氏がOpenAIの同僚に送った別れのメッセージが記されていました。ウェン氏が同僚に宛てて送った別れのメッセージは以下の通り。

親愛なる友人たちへ

今日、私はOpenAIを去るという非常に難しい決断を下しました。11月15日がオフィスでの最後の日となります。OpenAIは私が科学者として、そしてリーダーとして成長した場所であり、その過程で共に働き、親しくなった皆さんとの時間を永遠に大切にしたいと思います。OpenAIのチームは親友であり、先生であり、私のアイデンティティの一部でした。

2017年当時、不可能でSF的な未来を夢見る人々の集まりであったOpenAlのミッションにどれほど興味をそそられ、魅了されたかを今でも覚えています。私はOpenAIで深層強化学習アルゴリズムから、知覚、ファームウェアに至るまで、フルスタックのロボット工学の課題に取り組み、ルービックキューブの解き方をロボットハンドに教えることを目標に仕事を始めました。チーム全体で2年かかりましたが、最終的にこの目標はやり遂げました。

OpenAlがGPTパラダイムにのめり込む中で、最高のAIモデルを現実世界に展開する方法を模索し始めた一方で、私は最初の応用研究チームを作り、微調整APIの初期バージョン、エンベッディングAPI、モデレーションエンドポイントを立ち上げ、応用安全性研究の基礎を築き、多くの初期のAPI顧客のための斬新なソリューションを提供しました。

GPT-4のリリース後、私は新たな挑戦を依頼されました。それがOpenAIの安全システムのビジョンを再考し、安全スタックをすべて所有するひとつのチームに作業を集中させることです。これは私がこれまでこなしてきた中で最も困難で、ストレスが多く、エキサイティングな仕事でした。安全システムチームには80人以上の優秀な科学者、エンジニア、プロジェクトマネージャー、政策専門家がおり、私はチームとして達成したすべてのことを誇りに思っています。

特に、o1-previewモデルは私たちの最も安全なモデルであり、その有用性を維持しながら、ジェイルブレイク攻撃に対する並外れた耐性を示しています。私たちの成果としては以下が挙げられます。

・我々はいつ拒否するか否かを含め、機密性の高い要求や安全でない要求をどのように処理するかについてモデルを訓練し、明確に定義されたモデルの安全動作ポリシーのセットに従って、安全性と実用性の間の良好なバランスを取りました。
・ジェイルブレイクに対する防御、命令の階層化、推論によるロバスト性の大幅な向上など、各モデルの起動における敵対的なロバスト性を向上させました。
・Preparedness Frameworkに沿った厳密かつ創造的な評価方法を設計し、各フロンティアモデルについて包括的な安全性テストとレッド・チーミングを実施しました。透明性へのコミットメントは詳細なモデルシステムカードに表れています。
・マルチモーダルな機能を備えた業界屈指のモデレーションモデルを開発し、一般公開しました。現在取り組んでいるより汎用的なモニタリングフレームワークと安全推論機能の強化は、さらに多くの安全ワークストリームに力を与えるでしょう。
・安全データのロギング、測定基準、ダッシュボード、能動学習パイプライン、分類器の展開、推論時間のフィルタリング、斬新な迅速対応システムのためのエンジニアリング基盤を構築しました。

私たちが成し遂げてきたことを考えると、安全システムチームの皆をとても誇りに思いますし、このチームがこれからも繁栄していくことに非常に大きな自信を持っています。OpenAIでの7年間を終え、私は新しいことを探求する準備ができたと感じています。OpenAlはロケットのような成長軌道を描いています。

追伸：私のブログは生きていて、これからも続きます。近々、もう少し頻繁にブログを更新する時間が持てるかもしれません。おそらくコーディングの時間も増えるでしょう。

愛を込めて、リリアンより。

なお、OpenAIでAIの制御をいかに維持するかという問題を取り扱う「スーパーアライメントチーム」を率いていたイリヤ・サツケヴァー氏とヤン・ライク氏が、2024年5月に同社を離れています。これを機に、スーパーアライメントチームは解散しました。サツキヴァー氏は2023年11月に起こったサム・アルトマンCEO解任騒動を主導した人物といわれており、AIの安全性をめぐってアルトマン氏と対立していたと報じられています。

OpenAIの主任研究員でサム・アルトマンCEO解任を主導したイルヤ・サツキヴァー氏が退職 - GIGAZINE

OpenAIにおいて「AIの安全性」に注力してきたはずの責任者たちが相次いで離職している点について、テクノロジーメディアのTechCrunchは「ますます強力なAIシステムの構築を目指すOpenAIの安全性への取り組みに懸念を表明する声は少なくありません。政策研究者であるマイルズ・ブランデージ氏は2024年10月にOpenAIを去っており、その後、同氏がアドバイザーを務めていたAGI(汎用人工知能)準備チームは解散させられています。また、AI研究者のスシール・バラジ氏も、OpenAIの技術が社会に利益よりも害をもたらすと考え、同社を去っています」と指摘しました。

TechCrunchがOpenAIに問い合わせたところ、同社は安全システム部門におけるウェン氏の後任を選出するべく取り組みを続けているという返答があったそうです。OpenAIの広報担当者は、「画期的な安全性研究と厳格な技術的安全対策の構築に対するリリアンの貢献に深く感謝しています。安全システムチームが今後も、当社のシステムの安全性と信頼性を確保し、世界中の何億人もの人々にサービスを提供する上で重要な役割を果たしてくれると確信しています」とコメントしました。

なお、過去数カ月でOpenAIを去った幹部には、元CTOのミラ・ムラティ氏、最高研究責任者のボブ・マクグリュー氏、研究担当ヴァイスプレジデントのバレット・ゾフ氏、著名な研究者のアンドレイ・カルパシー氏、同社の共同創業者であるジョン・シュルマン氏などがいます。OpenAIを去ったシュルマン氏を含む数人は、同社の競合企業であるAnthropicに加わっています。

OpenAIの共同創設者ジョン・シュルマンが退職してAnthropicへ移籍 - GIGAZINE