2024年05月29日 10時23分ソフトウェア

AnthropicがAIの安全性とセキュリティ強化のためにOpenAIの元研究者を採用して「スーパーアライメントチーム」を新設

チャットAI「Claude」などを開発するAI企業「Anthropic」が、OpenAIのAI研究者だったヤン・ライク氏を採用し、AIの安全性とセキュリティに焦点を当てた「スーパーアライメントチーム」を新設しました。

Anthropic hires former OpenAI safety lead to head up new team | TechCrunch
https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/

Anthropicは「OpenAIよりも安全性を重視する」ことを目標として掲げており、今回新設されたスーパーアライメントチームはAIの安全性とセキュリティのさまざまな側面、特に「スケーラブルな監視」「弱から強への一般化」「自動アライメント研究」に焦点を当てる予定とのこと。

I'm excited to join @AnthropicAI to continue the superalignment mission!

My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research.

If you're interested in joining, my dms are open.
— Jan Leike (@janleike) May 28, 2024

関係者によると、ライク氏はAnthropicの最高科学責任者であるジャレド・カプラン氏の直属となり、記事作成時点でスケーラブルな監視に取り組んでいるAnthropicの研究者はチームの組閣が進むにつれてライク氏のチームに加わることになります。

✨???? Woo! ????✨

Jan's led some seminally important work on technical AI safety and I'm thrilled to be working with him! We'll be leading twin teams aimed at different parts of the problem of aligning AI systems at human level and beyond. https://t.co/aqSFTnOEG0
— Sam Bowman (@sleepinyourhat) May 28, 2024

ライク氏はかつて、OpenAIでスーパーアライメントチームをイルヤ・サツキヴァー氏と共に率いていましたが、「OpenAIのリーダーシップと中核的な優先事項について意見が合わない」と述べ、2024年5月にOpenAIを退社。

I joined because I thought OpenAI would be the best place in the world to do this research.

However, I have been disagreeing with OpenAI leadership about the company's core priorities for quite some time, until we finally reached a breaking point.
— Jan Leike (@janleike) May 17, 2024

また、「過去数年間、安全性についての文化とプロセスは、派手な製品に遅れをとってきました」と述べ、「OpenAIは安全性を第一に考えるAGI企業にならなければなりません」と提言しています。