Kimi K3はAIエージェントのベンチマーク「AA-Briefcase」でFable 5に次ぐ2位の成績を達成、しかし実行コストはOpus 4.8よりも高くタスクあたり平均1時間近くかかる

中国のAI企業・Moonshot AIが2026年7月17日に発表した2兆8000億パラメータの大規模モデル・Kimi K3は、一部のベンチマークテストでClaude Fable 5を超える性能を示したとして大きな注目を集めました。生成モデル比較サイトのArtifical Analysisが、Kimi K3のベンチマーク結果を公開しています。

Kimi K3: second only to Fable 5 on AA-Briefcase
https://artificialanalysis.ai/articles/kimi-k3-agentic-knowledge-benchmark

AA-BriefcaseはArtificial Analysisが開発した、AIエージェントによる実務的な知識労働の能力を測るベンチマークです。AIに調査や分析を行わせたうえで、スプレッドシート・プレゼンテーション・文書・ウェブサイトなどの成果物を作成させ、指定された要件をどれだけ満たしたかを示す評価基準合格率に加え、分析内容の質と成果物の見やすさや仕上がりをモデル同士の比較で評価します。これらを統合したAA-Briefcase Eloによって、単純な質問応答ではなく、ツールを使いながら複数段階の作業を進め、実際に利用できる成果物を完成させる総合的な能力を評価します。

Kimi K3は評価基準合格率・分析品質Elo・プレゼンテーション品質Eloを統合した「AA-Briefcase Elo」で1543を記録しました。1574のClaude Fable 5に次ぐ総合2位で、1501のGPT-5.6 Sol、1388のClaude Sonnet 5、1347のClaude Opus 4.8を上回っています。また、前世代のKimi K2.6が記録した816から、総合スコアを大幅に伸ばしました。

Kimi K3は、成果物の分析内容を評価する「分析品質Elo」で1754を記録し、Claude Fable 5の1744やGPT-5.6 Solの1599を上回って、比較対象のモデルの中で最高となりました。一方、構成やレイアウト、見やすさなどを評価する「プレゼンテーション品質Elo」は1471で、GPT-5.6 Solの1660やClaude Opus 4.8の1492を下回りました。

Kimi K3のAA-Briefcaseにおける1タスク当たりの平均コストは10.57ドル(約1720円)でした。内訳は回答生成が5.86ドル(約955円)、推論が2.91ドル(約475円)で、このほか入力やキャッシュ関連のコストが含まれています。Kimi K3はClaude Sonnet 5の14.43ドル(約2350円)やClaude Fable 5の22.30ドル(約3640円)よりは安価ですが、Claude Opus 4.8の8.26ドル(約1350円)を上回り、比較対象の中では4番目に高額です。

AA-Briefcase Eloと1タスク当たりのコストを比較すると、総合性能ではClaude Fable 5に次ぐ2位ですが、低コストかつ高性能とされる左上の領域からは外れており、高い性能と引き換えに相応の実行コストがかかるモデルであることが分かります。GPT-5.6 SolはKimi K3より低コストで近い性能を示し、Claude Fable 5はより高性能である一方、コストもさらに高くなっています。

Kimi K3がAA-Briefcaseの1タスクを完了するまでにかかった時間は平均56.4分で、比較対象のモデルの中で最長でした。Claude Sonnet 5の38.3分、Claude Opus 4.8の24.3分、Claude Fable 5の22.9分を大きく上回っています。前世代のKimi K2.6は14.5分だったため、Kimi K3では処理時間が約3.9倍に増加しました。

また、Kimi K3は、AA-Briefcaseの1タスクを完了するまでに平均83ターンを要しました。これはClaude Sonnet 5の183ターン、MiniMax M3の101ターンに次いで3番目に多く、前世代のKimi K2.6の54ターンを大きく上回っています。ターン数は少ないほど効率的とされるため、Kimi K3は複雑な作業を繰り返しながら進める傾向が強いことが分かります。

Kimi K3は、AA-Briefcaseの1タスク当たり平均約12万トークンを出力しました。内訳は回答に約5万6000トークン、推論に6万3000トークンで、前世代のKimi K2.6の約4万2000トークンから大幅に増加しています。これはClaude Opus 4.8の約12万6000トークン、Claude Fable 5の約13万9000トークン、Claude Sonnet 5の約20万9000トークンに次ぐ規模で、Kimi K3のコストや処理時間が増えた一因とみられます。Artifical Analysisは「Kimi K3は、非常に高い性能を備える一方、実行コストと処理効率に大きな課題を残すモデルだ」とまとめています。