AI

Metaの基盤モデルMuse Spark 1.2が第三者機関の性能分析でハイスコアを記録、Museシリーズ登場から4カ月で急成長


Metaが2026年8月5日に発表した基盤モデルの「Muse Spark 1.2」が、数学・科学・コーディング・推論といった分野におけるAIの能力を総合的に測定するための複合ベンチマークであるArtificial Analysis Intelligence Indexで、Grok 4.5を超える高スコアを獲得したことが明らかになりました。

Muse Spark 1.2: Improved Agentic Performance at Higher Cost per Task
https://artificialanalysis.ai/articles/muse-spark-1-2

Muse Spark 1.2 (xhigh) - Intelligence, Performance & Price Analysis
https://artificialanalysis.ai/models/muse-spark-1-2

Muse Spark 1.2(xhigh)のArtificial Analysis Intelligence Indexにおけるスコアは「54」です。2026年4月にリリースされたMuse Spark 1.0のスコアは「43」、2026年7月にリリースされたMuse Spark 1.1のスコアは「51」だったため、Metaはわずか4カ月でベンチマークスコアを一気に高めたこととなります。

また、Muse Spark 1.2(xhigh)のスコアはGPT-5.5(xhighの「55」やGrok 4.5(high)の「54」とほぼ同点で、記事作成時点での最先端モデルであるClaude Opus 5(max)の「61」や、Claude Fable 5(fallback)の「60」、GPT-5.6 Sol(max)の「59」、Kimi K3(max)の「57」にわずかに及ばない結果となりました。なお、Artificial Analysis Intelligence Indexを実施するArtificial Analysisは「これはアメリカ企業のAIとしてはSpaceXAIと並ぶ3位タイの記録」と指摘しています。


Artificial Analysis Intelligence Indexのスコア(縦軸)とコスト(横軸)をまとめたグラフが以下。Muse Spark 1.2は同等コストのモデルと比べて高性能です。


AIエージェントの実務遂行能力を測定するためのベンチマークテストであるGDPval-AA v2では、スコアがMuse Spark 1.1の「1371」から、Muse Spark 1.2では「1631」にまで上昇。Muse Spark 1.2よりも高いスコアを叩き出したのはClaude Opus 5(max)の「1852」、Claude Fable 5(fallback)の「1743」、GPT-5.6 Sol(max)の「1730」、Kimi K3(max)の「1685」のみです。


AIエージェントが実際のターミナル環境で複雑なタスクを遂行する能力を評価するベンチマークテストのTerminal-Bench v2.1では、スコアが「78%」から「80%」に向上。


AIエージェントが金融カスタマーサポート業務をどれだけ正確に遂行できるかを測定するベンチマークテストのτ³-Bankingでは、スコアが「25%」から「27%」に向上。


AIモデルが科学研究の現場で使われる実践的な数値計算コードをどれだけ正確に生成できるかを評価するベンチマークテストのSciCodeでは、スコアが「58.2%」から「56.4%」に低下。ただし、Muse Spark 1.2よりも優れたスコアを記録しているのは、Claude Fable 5(fallback)とKimi K3(max)とMuse Spark 1.1のみです。


AIモデルが人類最高峰の専門知識と本物の推論能力を備えているかを測定するベンチマークテストのHumanity's Last Examでは、スコアが「45.1%」から「43.9%」に低下しました。


AIモデルの専門知識の正確さとハルシネーション(幻覚)の抑制、自己の知識境界の把握力を厳格に測定するベンチマークテストのAA-Omniscience Indexでは、スコアが「18」から「22」に上昇。ハルシネーションの発生率は「38%」から「28%」に減少し、正答率は「41%」から「38%」に減少しました。


また、Vals AIのベンチマークであるVals Indexにおいて、Muse Spark 1.2は5番目に高いスコアとなる「71.88%」を記録しました。1度のテスト当たりのコストはトップ5のAIモデルの中で最も安価な0.69ドル(約110円)です。


VS Code上で動作するオープンソースのAIコーディングエージェントのClineは、「Metaの新しいMuse Codeエージェントを使ってみましたが、Dockerコンテナからサインインできないというバグがあります。そこで楽しい実験をしてみまし。MetaはMuse Spark 1.2が彼らのMuseエージェントのハーネスで共同訓練されたと主張しています。そこで私たちは彼らのシステムプロンプトから指示を抽出して、Clineハーネスに追加しました」「このハーネスに私たちのリポジトリからバグを修正するよう依頼し、結果を元のClineエージェントハーネスと比較しました。その結果は2.7倍少ないトークン使用量(1970万→720万)、2倍速く完了(49分→24分)、2.4倍低いコスト(7.69ドル→3.25ドル)です」と報告し、Muse Spark 1.2の進化ぶりを称賛しています。


AI研究者のRihard Jarc氏は、「MetaはMuse Spark 1.2で、多くのユースケースにおいてGoogleのAIモデルを品質で追い抜いたように見えるのは、タイムフレームを考えると非常に驚くべきことです」「MetaはすでにMuse Sparkよりも高性能なモデルをリリース予定であることを考えると、高性能モデル(Watermelon)はClaude Fableレベルのパフォーマンスを発揮するはずです」「1年間の大規模改修後、ついにMetaはAI研究所のスケーリング基盤が整ったようです。配信速度も非常に良好です」「DeepSeekが値上げを計画しているとウワサされていることを考えると、顧客にサービスを提供するための十分なコンピューティングリソースを持つことが重要であることは明らかです。素晴らしいモデルを持っていても、ほとんどの人がそれを使えないなら意味がありません。MetaはAnthropicやOpenAIと同等かそれ以上のコンピューティング能力を持つ数少ない企業の1つです」と述べました。

・関連記事
ネイティブなマルチモーダル推論モデル「Muse Spark」をMetaが発表、AI事業の「根本的な見直し」の一環 - GIGAZINE

MetaがMuse Spark 1.2を搭載したターミナルコーディングエージェント「Muse Code」べータ版をリリース - GIGAZINE

MetaがMuse Spark 1.2を搭載したターミナルコーディングエージェント「Muse Code」べータ版をリリース - GIGAZINE

in AI, Posted by logu_ii

You can read the machine translated English article Meta's foundational model, Muse Spar….