現実世界の様子やUIを理解してタスクをこなせるマルチモーダルAIエージェントの基盤モデル「Magma」をMicrosoftが発表

Microsoftが2025年2月に、現実世界の様子やデバイス上のスクリーンを認識して行動できるマルチモーダルAIエージェントの基盤モデルである「Magma」を発表しました。

Magma: A Foundation Model for Multimodal AI Agents
https://microsoft.github.io/Magma/

[2502.13130] Magma: A Foundation Model for Multimodal AI Agents
https://arxiv.org/abs/2502.13130

Microsoftによると、Magmaはマルチモーダルな世界を認識し目標に基づいた行動を的確にとることを目標としており、デジタル世界と現実世界を問わず画像や映像を認識し、観察に基づいた行動をとるために優れた言語的知能と空間的・時間的知能の両方を備えているとのこと。Magmaの開発チームは「デジタル世界と現実世界のどちらかに限定されるのではなく、人間のように両方の世界にまたがって働けるようにすることがMagmaの最終的な目標です」と述べています。

Magmaに入力された画像や映像はビジョンエンコーダーによってトークン化されるほか、ウェブページや写真などに記されたテキストは直接トークン化されます。その後、Magmaはトークンの処理を行い、言語、空間、および実際の行動といった出力を生成します。

MicrosoftはMagmaについて「事前学習済みのMagmaは、ドメイン固有の微調整を行うことなくタスクの実行が可能です。Magmaはマルチモーダルな理解やUIのナビゲーションと操作、ロボットの操作などあらゆるタスクを実行できる唯一のAIモデルです」と主張しています。以下の表はGPT-4やLLaVA-1.5など、さまざまなAIモデルでAI性能を評価するベンチマークを実行した際の結果を示したものです。Magmaはすべてのタスクを高い水準で実行できることが報告されています。

MicrosoftはMagmaのデモンストレーションを公開しています。現実世界の映像をMagmaに入力して質問した際の、Magmaによる実際の回答が以下。

Q：このゲームに本当に勝利したいです。勝つチャンスを最大化するための次の一手を提案してください。


Magma：ポーンをd4に移動するとかつ可能性が最大化されます。

Q：ここで数時間リラックスしたいです。何をしたらいいですか？


Magma：テレビを見たり、本を読んだり、秋の森の景色を見て楽しんではどうでしょう。

マルチモーダルなAIであるMagmaはユーザーのスマートフォンなどを操作することも可能。以下のビデオでは「シアトルの天気は？」と尋ねられたMagmaがChromeを使って検索する様子や、機内モードをオフにする様子が示されています。


このほか、Magmaはロボットを操作することもできます。「マッシュルームを持ち上げてボウルに入れて」と指示されたMagmaが的確にタスクをこなしている様子が以下のビデオです。


なお、Magmaのモデルデータや関連コードは近日中に公開予定で、以下のページに各種情報がまとまっています。

GitHub - microsoft/Magma: Magma: A Foundation Model for Multimodal AI Agents
https://github.com/microsoft/Magma