OpenAIがサム・アルトマンCEOを含む「安全・セキュリティ委員会」を設置、さらにGPT-4後継モデルのトレーニングを開始

OpenAI理事会が、OpenAIのプロジェクトと運営における重要な安全性とセキュリティに関する決定について勧告を行う「安全・セキュリティ委員会」を設置すること、そしてGPT-4シリーズに続く次世代モデルのトレーニングを開始することを発表しました。

OpenAI Board Forms Safety and Security Committee | OpenAI
https://openai.com/index/openai-board-forms-safety-and-security-committee/

OpenAI training its next major AI model, forms new safety committee | Ars Technica
https://arstechnica.com/information-technology/2024/05/openai-training-its-next-major-ai-model-forms-new-safety-committee/

OpenAIには汎用人工知能(AGI)の安全性と制御を研究する「スーパーアライメント」チームが存在していましたが、元主任研究員のイルヤ・サツキヴァー氏やヤン・ライク氏など、チームに所属する研究員が次々とOpenAIを退社したために解散したことが報じられました。

OpenAIで超知性の制御と安全性を研究していた「スーパーアライメント」チームが解散、元幹部は「派手な製品が安全性より優先されている」 - GIGAZINE

退社したライク氏は「OpenAIでは安全性よりも派手な製品が優先されている」と語り、AGIの開発を進めるOpenAI内で安全性が軽視されていることに警鐘を鳴らしており、これに対してアルトマンCEOは「安全性の研究は引き続き行っていく」とコメントしていました。

今回新しく設置された安全・セキュリティ委員会は、サム・アルトマンCEOや理事会議長のブレット・テイラー氏、理事のアダム・ダンジェロ氏、ニコール・セリグマン氏らが率いる組織です。メンバーには他に、OpenAIの技術および政策部門の責任者のアレクサンダー・マドリー氏、安全システム部門責任者のリリアン・ウェン氏、アライメント科学部門責任者のジョン・シュルマン氏、セキュリティ部門責任者のマット・ナイト氏、主任研究員であるヤクブ・パチョスキー氏の名前が挙がっています。さらに、OpenAIのアドバイザーであるロブ・ジョイス氏やジョン・カーリン氏なども、安全・セキュリティ委員会の相談役に就任するとのこと。

by TechCrunch

安全・セキュリティ委員会はOpenAIのプロセスとセーフガードを90日間かけて評価し、理事会全体に勧告を行います。勧告の内容は理事会によって評価されたあと、「安全性とセキュリティ」に矛盾しない方法で公開されます。

OpenAIの掲げる「安全性とセキュリティ」は、2024年5月21日に同社が発表した声明に示されており、アライメント研究や児童の保護、選挙の公正性の維持、社会的影響の評価、セキュリティ対策の実施など、より広範な「安全」を意味するとのこと。

また、OpenAIは「私たちは最近、次世代モデルのトレーニングを開始しており、その結果得られるシステムがAGIへの道のりの上で次なるレベルの機能をもたらすことを期待しています」と述べ、GPT-4の後継となる次世代モデルの開発を進めていることを明らかにしました。

ただし、この「次世代モデル」がGPT-5を意図したものなのか、それよりさらに一歩先を行くものなのかは不明です。IT系ニュースサイトのArs Technicaは「大規模言語モデルの進歩はGPT-4で頭打ちになっているというウワサが根強くあります」と述べ、モデルそのものの大規模アップグレードではなく、GPT-4oのようにインターフェースの進化にとどまるだけの可能性を示唆しました。

なお、OpenAIの安全性軽視の姿勢を批判したライク氏は、競合企業であるAnthropicに入社し、新設されたスーパーアライメントチームに参加しています。

AnthropicがAIの安全性とセキュリティ強化のためにOpenAIの元研究者を採用して「スーパーアライメントチーム」を新設 - GIGAZINE