OpenAIが「大規模言語モデルが人間の知能にどれだけ近づいたか」を評価する基準を作成

GPT-4oなどの大規模言語モデルを開発するOpenAIが、大規模言語モデルの知能が人間レベルにどれだけ追いつけているのかを示すための評価スケールを作成したことを明らかにしました。

OpenAI Sets Levels to Track Progress Toward Superintelligent AI - Bloomberg
https://www.bloomberg.com/news/articles/2024-07-11/openai-sets-levels-to-track-progress-toward-superintelligent-ai

Here’s how OpenAI will determine how powerful its AI systems are - The Verge
https://www.theverge.com/2024/7/11/24196746/heres-how-openai-will-determine-how-powerful-its-ai-systems-are

OpenAIの広報担当者が経済紙のBloombergに語ったところによると、OpenAIの従業員向け全体会議で、AIの新しい評価スケールが共有されたとのこと。

このスケールはレベル1からレベル5まで、5つの段階で構成されており、レベルが進めば進むほど人間に追いついていると評価されます。

OpenAIは記事作成時点での大規模言語モデルはレベル1であり、レベル2に近づいているとしています。OpenAIによれば、レベル2は博士レベルの教育を受けた人間と同等の基本的な問題解決能力を持つシステムと評価されるそうです。また、レベル3は「ユーザーに代わって行動できる」、レベル4は「新しいイノベーションを生み出せる」、最高段階のレベル5は「組織全体の仕事を行うことができる」レベルに設定されているそうです。

OpenAIによる新しい評価スケールは、ロスアラモス国立研究所とのパートナーシップを締結した直後に導入されたとのこと。

OpenAIとロスアラモス国立研究所がAIの安全性強化のために協力 - GIGAZINE

OpenAIは「ほとんどの経済的に価値のあるタスクで、人間を上回るレベルで高度に自律的なシステム」として、汎用人工知能(AGI)の開発を目指しています。サム・アルトマンCEOは2023年10月に「AGIの完成にはあと5年ほどかかる」と発言していますが、レベル5に相当するAGIが完成するまでには膨大な計算能力と資金が必要となります。

ただし、この評価スケールはあくまでも暫定的なものであるため、今後従業員や投資家、理事会からのフィードバックをもとに評価基準が微調整される可能性があります。