GPT-4を上回る性能で画像と文章を同時に処理できる日本語対応マルチモーダルAI「Claude 3」がリリースされる

元OpenAIエンジニアによって設立されたAIスタートアップのAnthropicが、大規模言語モデルの「Claude 3」を発表しました。

Introducing the next generation of Claude \ Anthropic
https://www.anthropic.com/news/claude-3-family

以前のモデルである「Claude 2」は日本語に対応しており、AIの日本語能力を計測するベンチマークの「Rakuda」でOpenAIのGPT-3.5を上回るスコアをマークしています。今回リリースされたClaude 3も複数言語対応で、GPT-4を上回る性能を持つとのこと。

Claude 3のモデルは安価でコスト効率に優れる「Haiku」、コストと性能をバランスさせた「Sonnet」、そして高価なものの高性能な「Opus」という3つのバリアントに分かれています。

さまざまなベンチマークにおける競合とのスコア比較を行った結果は下図の通り。最上位モデルのClaude 3 Opusは全てのベンチマークにおいて最高の得点を記録しました。

写真、チャート、グラフ、技術図などのビジョン機能についてのベンチマーク結果は下図の通り。最上位モデルのClaude 3 OpusはGPT-4Vを全てのベンチマーク結果において上回っています。

従来のモデルでは無害なプロンプトなのに誤って拒否してしまうことが問題になっていましたが、Claude 3では大幅に改善しています。

また、従来のモデルの弱点だった「複雑で難しい質問」に正しく回答できる確率が大幅に上昇しました。

Claude 3のモデルは20万トークンまでのコンテキスト長に対応しており、こうした長いコンテキストを効率的に処理するには再現率(Recall)が重要です。最上位モデルのClaude 3 Opusは精度99％を超えるほぼ完璧な再現率を達成できたとのこと。

100万トークン当たりの料金は、Haikuモデルが入力0.25ドル(約38円)、出力1.25ドル(約188円)。Sonnetモデルが入力3ドル(約451円)、出力15ドル(約2260円)。Opusモデルが入力15ドル(約2260円)、出力75ドル(約1万1300円)です。また、いずれのモデルでもユースケースによっては100万トークンまでコンテキストウィンドウを拡張することも可能とのこと。

SonnetおよびOpusモデルは既にClaude API経由で一般提供が開始されており、Haikuの一般提供は近日開始予定となっています。