2024年05月20日 11時45分メモ

OpenAIで超知性の制御と安全性を研究していた「スーパーアライメント」チームが解散、元幹部は「派手な製品が安全性より優先されている」

by Jernej Furman

OpenAIでAIの安全性を確保するための部署である「スーパーアライメント」チームが事実上解散したと報じられています。決め手となったのはイルヤ・サツキヴァー氏とヤン・ライク氏というチーム幹部2人の退社で、ライク氏はX(旧Twitter)に「OpenAIで安全性が軽視されている」とポストしています。

OpenAI researcher resigns, claiming safety has taken ‘a backseat to shiny products’ - The Verge
https://www.theverge.com/2024/5/17/24159095/openai-jan-leike-superalignment-sam-altman-ai-safety

What happened to OpenAI’s long-term AI risk team? | Ars Technica
https://arstechnica.com/ai/2024/05/what-happened-to-openais-long-term-ai-risk-team/

IT系メディアのWiredは、「サツキヴァー氏・ライク氏の退職と共にOpenAIのスーパーアライメントチームが解散し、同チームの研究内容はOpenAIの他の研究活動に吸収される予定」であることをOpenAIが認めたと報じました。

スーパーアライメントチームは2023年7月に設立された部署で、人間の知性を超えるような来たるべき「超知性」の開発に備えて、AIを制御するための研究を行っていました。具体的な研究内容については、以下の記事を読むとよくわかります。

OpenAIの「超知性」誕生に備える研究チームがGPT-2のような弱いAIモデルでGPT-4のように強力なAIを制御する方法を詳しく説明 - GIGAZINE

2024年5月15日に、スーパーアライメントチームの責任者でOpenAIの主任研究員だったサツキヴァー氏がOpenAIを退職する旨をXで発表しました。同日にはサツキヴァー氏と共にスーパーアライメントチームを率いていたヤン・ライク氏も退職を発表しています。

OpenAIの主任研究員でサム・アルトマンCEO解任を主導したイルヤ・サツキヴァー氏が退職 - GIGAZINE

退職を発表したサツキヴァー氏は、「サム・アルトマンCEOやグレッグ・ブロックマン社長、最高技術責任者(CTO)のミラ・ムラティ氏、新たな主任研究員であるヤクブ・パチョスキー氏の優れた研究リーダーシップの下、安全で有益なAGI(汎用人工知能)を構築してくれると確信しています」というメッセージをXにポストしています。

After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…
— Ilya Sutskever (@ilyasut) May 14, 2024

一方、ライク氏はXで退職した理由について「かなり長い間、OpenAIのリーダーシップと中核的な優先事項について意見が合わず、ついに限界に達しました」と吐露しています。

I joined because I thought OpenAI would be the best place in the world to do this research.

However, I have been disagreeing with OpenAI leadership about the company's core priorities for quite some time, until we finally reached a breaking point.
— Jan Leike (@janleike) May 17, 2024

ライク氏は、「過去数年間、安全性についての文化とプロセスは、派手な製品に遅れをとってきました」と述べ、「OpenAIは安全性を第一に考えるAGI企業にならなければなりません」とポストしました。

But over the past years, safety culture and processes have taken a backseat to shiny products.
— Jan Leike (@janleike) May 17, 2024

ライク氏によるポストを受けて、アルトマンCEOは「OpenAIのアライメントリサーチと安全性についての文化に対するライク氏の貢献には非常に感謝しており、彼が去ってしまうのは非常に残念です。彼の言う通り、私たちにはやるべきことがまだたくさんあります。私たちはそれを実行することに全力を尽くしています」と述べています。

i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.

???? https://t.co/t2yexKtQEk
— Sam Altman (@sama) May 17, 2024

また、ブロックマン社長は「ライク氏の退職をきっかけとする疑問提起を踏まえて、私たちの全体的な戦略について少し説明したいと思います」と述べ、アルトマンCEOと連名で声明を発表。この中で「私たちは、さまざまなタイムスケールをターゲットに安全性の研究を続けていきます。また、政府や多くの利害関係者との安全性に関する協力も続けていきます」と語りました。

We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.

First, we have… https://t.co/djlcqEiLLN
— Greg Brockman (@gdb) May 18, 2024

OpenAIを退職したのはサツキヴァー氏とライク氏だけではありません。IT系ニュースサイトのThe Informationによると、OpenAIは2024年4月にスーパーアライメントチームに所属する研究者であるレオポルド・アッシェンブレナー氏とパベル・イズマイロフ氏を企業機密を漏えいしたとして解雇したとのこと。また、スーパーアライメントチームのメンバーだったウィリアム・サンダース氏もOpenAIを退職したことをインターネットフォーラムに投稿しています。さらに、OpenAIでAIのポリシーガバナンスを研究していたカレン・オキーフ氏やダニエル・ココタジュロ氏も退職しており、ココタジュロ氏は「AGIの時代にOpenAIが責任を持って行動すると確信できなくなったので退職した」とコメントしています。

なお、スーパーアライメントチームは解散したものの、OpenAIにはプライバシーの侵害や感情操作、サイバーセキュリティのリスクに関する倫理的な問題などAIによる壊滅的なリスクに対処するための「Preparedness」チームが存在しています。

ChatGPTを開発したOpenAIが「AIの壊滅的なリスク」を分析して人類を保護するための専門チームを結成 - GIGAZINE