DeepSeek V4 Flashはベンチマークスコアは高いが実際のタスクでは苦戦しているという指摘、オーケストレーションに課題

中国のAI企業・DeepSeekは高性能AIモデル「DeepSeek-V4 Flash」と「DeepSeek-V4 Pro」を展開しています。V4 Flashは登場以来「安価かつ高性能」として利用ランキングで常に上位を占めるほど人気を集めましたが、DeepSeekは2026年8月6日に値上げを通知しているほか、実際のエージェント環境ではベンチマークスコアほどの高い性能を発揮できないケースがあると指摘されています。

DeepSeek's top-ranked V4 Flash stumbles on real agent tasks as its prices surge | VentureBeat
https://venturebeat.com/orchestration/deepseeks-top-ranked-v4-flash-stumbles-on-real-agent-tasks-as-its-prices-surge

DeepSeek-V4 Flashは2026年4月24日に登場し、2026年7月31日にはアップデート版の「DeepSeek-V4-Flash-0731」がリリースされました。DeepSeek-V4-Flash-0731は総パラメーター数2840億・アクティブパラメーター数130億のMoEモデルで、第三者機関のArtificial Analysisが実施したインテリジェンス性能テストではGoogleのGemini 3.6 Flashと同等性能と評価され、オープンモデルの中ではKimi K3とGLM-5.2に続く性能と評価されました。また、 コーディング性能ではGLM-5.2を上回っているほか、 エージェント性能ではGemini 3.6 Flashを大きく上回り、OpenAIのGPT-5.6 Lunaを0.1ポイント上回りました。

「DeepSeek-V4-Flash-0731」が登場、GPT-5.6 Lunaより安価で同等性能のオープンモデル - GIGAZINE

DeepSeek-V4 Flashはコスト効率の高さでも特徴的でした。 OpenAIは2026年7月31日にGPT-5.6シリーズの大幅値下げを告知しましたが、その数時間後に発表されたDeepSeek-V4 Flashは、GPT-5.6シリーズよりもさらに低価格に設定されていました。

しかし、2026年8月6日にDeepSeekはユーザーに「API料金の大幅な値上げ」を通知しました。値上げの理由は説明されていませんが、一部では「DeepSeekは前例のない需要の急増に対応している」と言われています。また、需要の急増によりモデルの推論速度が時折極端に遅くなるという事例も報告されています。

DeepSeekがAPI料金の大幅値上げを予告、低価格戦略による需要急増が背景か - GIGAZINE

そんなDeepSeek-V4 Flashの性能について、公式発表のベンチマークほど優れていない可能性が指摘されています。

AIエージェント用プラットフォームの「Composio」はDeepSeek-V4 Flashを用いて4つのエージェントハーネスで30のエージェントタスクを実施した結果を発表しました。タスクはGmail、GitHub、Slack、Google Sheetsといった実際のツールを横断する、難易度の高い複数ステップのタスクが意図的に設定されています。

結果として、合計240回の実行のうち、合格したのは129回で、テストしたすべてのハーネスで正常に完了したワークフローは30件のうちわずか6件だったことが報告されています。

また、以下は成功したタスクごとの推定コストを示したもの。最も高価なハーネスでも0.2ドル(約32円)を下回っており、成功率の低さを踏まえてもコスト効率は優れているといえますが、DeepSeekの価格引き上げによりそれが変わる可能性があるとComposioは指摘しています。

DeepSeek-V4 Flashはエージェント系ベンチマークのスコアでも高い結果を記録していますが、実際の難易度の高いタスクでは成功率が低くなりました。AIとサイバーセキュリティを専門とするライターのタリン・プランブ氏は、「このギャップは、エンタープライズ環境においてモデルの成否を左右するのは、モデルの生の能力ではなく、複数のシステムやタスクを連携させる『オーケストレーション』である理由を示しています。同じモデルであっても、実行環境となるハーネス、ツール構成、キャッシュ動作、再試行、プロバイダースタックによって、結果が大きく異なるのです」と指摘しています。

テクノロジーアナリストのカーミ・レヴィ氏は、DeepSeekが値上げ後もOpenAI・Anthropic・Google・xAIなどの競合モデルと比較して「あらゆる価格面で遥かに安価」であると述べた上で、エージェントAIとしての能力を適切に配置する重要性を説いています。例えばバッチ処理のような作業は、高度な地上を必要とするものではなく定型的で反復的なものであることが多いため、より安価で効率的なモデルを使用するのが適切です。レヴィ氏は「企業は既存の製品を全面的に置き換えるのではなく、特定のワークロードに対するソリューションとして、高性能推論エンジンを検討できます」と述べています。

世界的なテクノロジー調査・コンサルティング企業のグレイハウンド・リサーチに所属するサンチット・ヴィル・ゴギア氏は「重要なのは、AIモデルの性能が企業の実際に運用するワークフローに十分対応できるかどうかであり、あらゆるベンチマークでトップになるかどうかではありません。企業は、どのモデル、ハーネス、プロバイダーの組み合わせが、最も安全かつ低コストで作業を完了できるかを判断する必要があります」と語りました。