OpenAIがGPT-4のアップグレード版大規模言語モデル「GPT-4 Turbo」を発表、2023年4月までの知識を持ちコンテキストウィンドウは128Kで価格は控えめ

AI開発企業のOpenAIが、2023年11月6日に行われた年次開発者向けイベント「DevDay」で、大規模言語モデル「GPT-4」のアップグレード版である「GPT-4 Turbo」を発表しました。

New models and developer products announced at DevDay
https://openai.com/blog/new-models-and-developer-products-announced-at-devday

OpenAI introduces GPT-4 Turbo: Larger memory, lower cost, new knowledge | Ars Technica
https://arstechnica.com/information-technology/2023/11/openai-introduces-gpt-4-turbo-larger-memory-lower-cost-new-knowledge/

GPT-4 Turboをはじめとする大規模言語モデルでは、「コンテキストウィンドウ」と呼ばれる、応答を生成するために一度に処理できるテキストの量が重要になってきます。コンテキストウィンドウが長くなればなるほど、大規模言語モデルがトピックに関する記憶を失うことなく、長い文章を生成することが可能です。

これまでのGPT-4のコンテキストウィンドウは8000トークンで、一部の開発者向けに3万2000トークンのモデルが提供されていました。しかし、今回発表されたGPT-4 Turboは12万8000トークンのコンテキストウィンドウを持ち、この数値は約9万6000語、本にすると300ページ分に相当するとされています。また、従来のモデルよりもより正確とのこと。

また、従来のGPT-4は2021年9月までの情報でトレーニングされており、最新の情報に関する質問等に関しては不正確な回答を行っていました。しかし、GPT-4 Turboは2023年4月までの知識を持っていることから、OpenAIにおける最新の大規模言語モデルとなりました。さらにOpenAIはGPT-4 Turboの情報に関して、たびたびアップデートを行っていくことを明かしています。

さらにGPT-4 Turboでは、「Function calling」において「車の窓を開けてエアコンをオフにする」など、単一メッセージから複数のアクションを呼び出すことが可能になったほか、「常にXMLで応答する」などの特定形式での生成において精度が向上しています。また、新たに「JSONモード」もサポートしています。

加えて「seed」パラメーターを利用することで、言語モデルが一貫したレスポンスを返すようになり、出力の再現が可能になります。この機能は、デバッグや単体でのテストに役立つとのこと。

OpenAIはさらに従来のGPT-3.5 Turboの新たなバージョンをリリースすることを発表。新しいGPT-3.5 Turboは、1万6000トークンのコンテキストウィンドウを持ち、GPT-4 Turboで実行可能な、特定形式での生成、JSONモード、Function callingをサポートしているとのこと。開発者は2023年12月11日以降、モデルID「gpt-3.5-turbo-1106」で新たなGPT-3.5 Turboを使用することが可能です。

GPT-4 Turboは、GPT-4よりも性能が向上した一方で、GPT-4 Turboの価格は控えめ。以下は今回発表されたGPT-4 TurboとGPT-3.5 Turboの1トークン当たりの料金表です。GPT-4 Turboの入力は、従来のGPT-4に比べて1/3、出力は1/2に抑えられています。また、GPT-3.5 Turbo 16Kも同様に旧モデルから値下げされています。

開発者はGPT-4 TurboをモデルID「gpt-4-1106-preview」で試すことが可能で、OpenAIは今後数週間以内に、安定した製品版をリリース予定であることを明らかにしています。