OpenAIは次世代AIモデル「GPT-5」の開発で次々と問題に直面しておりコストが膨らんでいる

OpenAIは2023年4月にAIモデルの「GPT-4」を発表しましたが、その後継となるであろう新型AIモデル「GPT-5」は記事作成時点でも発表されていません。OpenAIはGPT-5の開発を「Orion」というコードネームで進めているものの、その最中にさまざまな問題に直面していると経済紙のウォール・ストリート・ジャーナルが報じました。

OpenAI’s Next Big AI Effort, GPT-5, Is Behind Schedule and Crazy Expensive - WSJ
https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e7693

2022年にOpenAIがChatGPTをリリースして世界中に衝撃を与えて以降、AIはどんどん改善されており、すでに生活の中に浸透しつつあります。アナリストは大手企業が今後数年間でAIプロジェクトに1兆ドル(約157兆円)を費やす可能性があると推測していますが、この中心となっているのが「AIブームのゼロ地点」であるOpenAIです。

OpenAIはChatGPTの基盤となるテクノロジーを大きく進歩させるため、2023年の前半から18カ月以上もGPT-5に取り組んでいます。2023年7月にはアメリカ特許商標庁(USPTO)に「GPT-5」の商標登録を出願していたほか、「2024年夏にはGPT-5がリリースされる」と報道されており、OpenAIの最も重要な投資家であるMicrosoftも2024年中にGPT-5が登場することを期待していたとのこと。

しかし、OpenAIのサム・アルトマンCEOは2024年11月1日にオンライン掲示板のRedditに現れ、「我々は2024年後半に素晴らしい製品を複数リリース予定です！しかし、その中に『GPT-5』と呼ばれる製品は含まれません」とコメントし、GPT-5が2024年中にリリースされないことを明言しました。

OpenAIのCEOがネット掲示板に降臨し「GPT-5は2024年中に登場しない」「複数の製品を2024年中に発表する」「AGIは既存のハードウェアで実現可能」など重要情報を次々に投下 - GIGAZINE

GPT-5に期待されているのは、誰かとのアポイントメントや飛行機の予約など、日常的な人間のタスクを代わりに実行することです。また、既存のAIは間違った情報を事実であるかのように断言してしまう幻覚(ハルシネーション)の問題を抱えていますが、研究者はGPT-5でハルシネーションが大幅に減るか、少なくとも不確かな情報にAI自身が疑念を持てるようになることを望んでいるとのこと。

どれほどAIモデルが賢くなれば「GPT-5」と認定できるのかを定める基準はありませんが、これまでのところGPT-5はOpenAIの期待を満たすほどの性能には達していないようです。OpenAIはGPT-5の開発で少なくとも2回の大規模なトレーニングを実施したものの、そのたびに新たな問題が発生したとのこと。ウォール・ストリート・ジャーナルは、今のところGPT-5を稼働させる膨大なコストを正当化するほどの進歩は得られていないと報じています。

GPT-4を含む多くのAIモデルでは、数万個もの高性能なチップを備えたデータセンターを用い、数カ月間にわたって膨大な量のデータを投じてトレーニングを行っています。アルトマンCEOによると、GPT-4のトレーニングには1億ドル(約157億円)以上のコストがかかったそうで、将来のAIモデルではトレーニングのコストが10億ドル(約1570億円)を超えると予想されています。こうした大規模なAIモデルのトレーニングが失敗に終わると、まるで宇宙ロケットが打ち上げ直後に爆発するような損害と落胆をもたらします。

そのため研究者らは、大規模なトレーニングの前に小規模なテストを行うことで、被害をできるだけ軽減しようと試みています。OpenAIは2023年半ばに、GPT-5の新設計案のテストを兼ねたトレーニングプランを開始しましたが、大規模なトレーニングの実行には膨大な時間とコストがかかる可能性が示唆されました。

一般にAIモデルはトレーニングに用いるデータが多ければ多いほど性能が高くなるとされており、これまでOpenAIはインターネットからスクレイピングしたニュース記事やSNSの投稿、科学論文などのデータを使用していました。しかしOpenAIは2023年の失敗を受けて、公共のインターネットから得たデータではGPT-5のトレーニングに十分ではなく、より多様で高品質なデータセットが必要だという結論に至ったとのこと。

OpenAIはこの課題を解決するため、自らの手でゼロからデータを作成するという手法を採用しました。そこで新しいソフトウェアコードを作成したり、GPT-5が学習するための数学問題を解決したりするために、ソフトウェアエンジニアや数学者を雇ったそうです。OpenAIやMetaと提携するAIインフラストラクチャー企業・TuringのCEO兼共同創設者であるジョナサン・シドハース氏は、「私たちは人間の知性を、人間の心から機械の心に移しています」とコメントしました。

Turingによると、ソフトウェアエンジニアは複雑な論理問題を効率的に解くプログラムを書くように求められたり、数学者は100万個のバスケットボールからなるピラミッドの高さを計算するように指示されたりするとのこと。これらの解答とそこに至る道筋がAIのトレーニングデータに組み込まれ、性能向上に役立つことが期待されています。

しかし、この手作業のプロセスは非常に時間がかかるというデメリットがあります。GPT-4は推定13兆ものトークンでトレーニングされましたが、1000人が1日あたり5000語を書いたとしても10億トークンを生成するのに数カ月かかります。そこでOpenAIはGPT-5のトレーニングセータ作成を支援するため、別のAIモデルが生成したデータを組み合わせているとのこと。

OpenAIはこれらのただでさえ困難な課題の解決に加え、アルトマンCEOの解任騒動といった社内の混乱、そして競合他社による人材のヘッドハンティングにも見舞われています。競合他社は人材を引き抜くために数百万ドル(数億円)ものオファーを出すこともあるそうで、2024年には共同創業者でチーフサイエンティストのイルヤ・サツキヴァー氏がAI企業「Safe Superintelligence」を設立したのをはじめ、20人以上の主要な経営幹部や研究者がOpenAIを去りました。

2024年に入るとGPT-4のリリースから約1年が経過し、AnthropicやGoogleといった競合他社もGPT-4に迫る性能のAIモデルをリリースしてきました。そんな中、OpenAIの経営幹部はGPT-4に関連する新製品の開発にリソースを割くようになり、限られたコンピューティングリソースを巡ってGPT-5の開発チームと新製品開発チームの間で争いが起きたとのこと。

それでも2024年初頭に小規模なトレーニングを実施したGPT-5の開発チームは、5月に大規模なトレーニングを開始。当初、このトレーニングは11月まで続くとみられていましたが、トレーニングを開始すると「学習データが思っていたほど多様ではなく、学習が制限される可能性がある」という問題が生じました。この問題は小規模なトレーニングでは発見されなかったものですが、すでに最初からやり直すことが不可能なほどの時間とコストを費やしていたOpenAIは、トレーニングプロセス中に新しいデータを見つけるために奔走しました。なお、この戦略が実を結んだのかどうかは明らかではないそうです。

これらの問題は、かつてAIモデルの成功をけん引してきた「more-is-more(トレーニングデータが多いほどAIモデルの性能が高くなる)」の戦略が、勢いを失いつつあることを示唆しています。サツキヴァー氏もSafe Superintelligence設立後のAIカンファレンスで、「インターネットが1つしかないので、データは増えていません。データはAIの化石燃料であるとさえ言えます」と発言しました。

さまざまな問題に直面したOpenAIの研究者らは、AIモデルを進化させる新たなアプローチとして「推論」に目を向けています。これは、AIモデルが「考えること」により多くの時間を費やすことで、トレーニングされていない難しい問題を解決できるようになる可能性があるというものです。2024年9月にOpenAIがリリースした「o1」は段階的に推論を行うことが可能なAIモデルですが、Appleの研究者は「o1を含む推論モデルは実際のところ新しい問題を解決しているのではなく、パターンを模倣しているに過ぎない」と主張するなど、その精度には疑念の声も上がっています。

AppleのAI研究者らが「今のAI言語モデルは算数の文章題への推論能力が小学生未満」と研究結果を発表 - GIGAZINE

ウォール・ストリート・ジャーナルは、「より高度で効率的な推論モデルが、Orion(GPT-5)の基盤になる可能性があります。OpenAIの研究者らはそのアプローチを追求し、より多くのデータ(その一部はOpenAIの他のAIモデルから得られる可能性がある)という旧来の方法と組み合わせたいと考えています」と述べました。

なお、アルトマンCEOは2024年12月20日に新しい推論モデル「o3」を発表しましたが、GPT-5については何も明かしませんでした。

その後アルトマンCEOはウォール・ストリート・ジャーナルの記事に触れ、「ウォール・ストリート・ジャーナルは今のところアメリカ全体で最も優れた新聞だと思いますが、o3を発表した数時間後に『AIの次なる飛躍は予定より遅れており、非常に高価になっている』という記事を掲載しました」と皮肉を投稿しています。