GPT-5.6やClaude Opusの性能を「MCPサーバーを構築できるか？」という観点で測定したベンチマークテスト「mcpbench」

各種AIモデルの性能を「仕様に沿ってMCPクライアントやMCPサーバーを構築できるか？」という観点で測定するベンチマークテスト「mcpbench」が登場しました。作者はCloudflareのシニアシステムエンジニアでMCP関連の開発に携わっているMatt Carey氏です。

Results · mcpbench
https://mcpbench.mattzcarey.com/

MCPは「Model Context Protocol」の略称で、AIシステムに外部サービスや外部データなどへのアクセス能力を付与するための橋渡しを担う仕組みです。MCPは2024年11月にAnthropicによって開発された規格で、AIの環境変化に合わせて仕様のアップデートが繰り返されており、2026年7月28日には「バージョン2026-07-28」がリリースされました。バージョン2026-07-28はセッション制が廃止されてステートレスな仕組みに移行したのが大きな特徴です。アップデートの内容は以下の記事に詳しくまとめています。

AIと外部ツールをつなぐ共通規格「MCP」が過去最大のアップデート、セッション廃止で何が変わったのか？ - GIGAZINE

MCPは実際に外部リソースにアクセスして処理を実行する「MCPサーバー」と、AIエージェントの指示をうけてMCPサーバーにリクエストを送る「MCPクライアント」からなる仕組みです。mcpbenchは各種AIモデルに「MCPクライアントとMCPサーバーの構築」を実行させて、その可否によってAIモデルの性能を評価しています。

「GPT-5.6 Sol」「GPT-5.6 Luna」「GPT-5.6 Terra」「Claude Opus 4.8」「Claude Sonnet 5」「Kimi K2.7 Code」にバージョン2025-11-25のMCPクライアントを作成させたテストの結果が以下。クライアント作成指示のみを入力する「NO DOCS」とドキュメント入力する「FULL DOCS」の双方でGPT-5.6 Solが最高性能と評価されました。

バージョン2026-07-28に準拠したMCPクライアントを作成させるテストではNO DOCSでのスコアが大きく減少しています。FULL DOCSではバージョン2025-11-25と同等のスコアを記録したことから、「モデルにMCPバージョン2026-07-28の知識がない」ということが示されています。

バージョン2025-11-25に準拠したMCPサーバーを作るテストでは、NO DOCSでGET-5.6 Lunaが最高スコアを記録。FULL DOCSではClaude Opus 4.8とKimi K2.7 Codeが100％を達成しました。

バージョン2026-07-28に準拠したMCPサーバーの場合、NO DOCSではどのAIモデルも達成率0％でした。これはバージョン2026-07-28で「initialize/initialized」による初期化が不要となったことにAIモデルが対応できなかった結果と考えられています。ドキュメントさえ入力すればどのAIモデルも高い達成率を記録しました。

mcpbenchのソースコードは以下のリンク先で公開されています。

GitHub - mattzcarey/mcpbench · GitHub
https://github.com/mattzcarey/mcpbench