AIモデルは1つに決めない方が安くて高性能、Kimi K3とFable 5の使い分けで最大50倍のコスト効率という実験結果

生成AI基盤を提供するFireworks AIが、オープンモデルの「Kimi K3」とクローズドモデルの「Fable 5」を約1000件のタスクで比較しました。課題ごとに適したモデルを選ぶ方法では正答率が93％に達し、長時間にわたるエージェント型タスクではFable 5単独より最大で約50倍もコスト効率がよくなったとのことです。

Kimi K3 is competitive with Fable; Kimi K3 + Fable is SoTA.
https://fireworks.ai/blog/kimik3-fable

Javaのコードには強くてもRustでは別のモデルに劣るなど、生成AIにはモデルごとの得意不得意があります。しかし多くのAIサービスでは、内容の異なる仕事を1種類のモデルに任せています。不得意な仕事を1種類のモデルに任せ続けると、作業時間や出力するデータ量が増えて料金が膨らむ可能性があります。

Fireworks AIはソフトウェアの不具合修正、ターミナルを使ったセキュリティ作業、競技プログラミング、6種類のプログラミング言語による実装、法律関連の問題を両モデルに解かせました。対象は合計約1000件で、AIが複数の手順を自律的に進める「エージェント型タスク」が中心です。

全体の性能はほぼ互角でした。一方で問題を細かく分類すると、Kimi K3は記号計算や開発ツール関連を得意とし、Fable 5はウェブ開発やデータの可視化で高い成績を記録しました。

ターミナルを長時間操作する課題ではKimi K3が優位でした。89件のうちKimi K3だけが解けた問題は11件で、Fable 5だけが解けた問題は7件。暗号解析や脆弱(ぜいじゃく)性調査などで差が生じたとのことです。

性能が近い一方で、料金には大きな差がありました。Kimi K3は5分野すべてでFable 5より低コストとなり、長時間のエージェント型タスクでは最大約50倍のコスト効率を記録しました。

料金差はモデル自体の価格だけでなく、回答までに必要な処理回数やデータ量からも生じます。ソフトウェア修正ではKimi K3の処理量が多かった一方、ターミナル課題ではFable 5の処理が長引き、時間切れまで動作する例も確認されました。Kimi K3では過去に読み込んだ入力を再利用する「プロンプトキャッシュ」も費用削減に役立ったとのこと。

Fireworks AIが解決策として示したのが、課題に応じてモデルを切り替える「ルーティング」です。実験では両モデルに問題を解かせた後、正解したモデルのうち費用が安い方を選択しました。理論上の最適な振り分けを調べる手法で「オラクルルーティング」と呼ばれます。なお、実用的なルーターは回答を得る前にモデルを選ぶ必要があるため、オラクルルーティングの結果はあくまでも理論上の上限であることに注意が必要です。

オラクルルーティングでは分野に応じて72％～96％のタスクがKimi K3に割り当てられました。

オラクルルーティングではKimi K3で正解できなかった課題をFable 5が補う形となり、費用を抑えつつ単独モデルより高い正答率を達成できたというわけです。

Fireworks AIは高精度な振り分けにはさらに多くのルーティング用データと実環境での検証が必要だとした上で、今後は低コストなオープンモデルを基本にして、難しい課題だけを高価なモデルへ振り分ける構成が重要になると述べています。