「ロケットリーグ」で学習しプレイヤーの操作を受け付けつつリアルタイムで映像を生成するAIモデル「MIRA」

1万時間分の「ロケットリーグ」のゲームプレイデータに基づいてトレーニングされたAIモデル「MIRA(Multiplayer Interactive world models with Representation Autoencoders：マルチプレイヤー対応のインタラクティブな世界モデルと表現オートエンコーダー)」が発表されました。ウェブで無料公開されているデモ版では、実際に車を操作して遊ぶことができます。

MIRA - Blog post
https://mira-wm.com/blog-post/

https://mira-wm.com/paper/
https://mira-wm.com/paper/

kyutai/rocket-science · Datasets at Hugging Face
https://huggingface.co/datasets/kyutai/rocket-science

GitHub - mira-wm/mira: Code for MIRA: Multiplayer Interactive World Models with Representation Autoencoders · GitHub
https://github.com/mira-wm/mira

MIRAはロケットリーグの映像を自動生成するモデルです。単一のNVIDIA B200 GPU上で毎秒20フレームを生成し、4人対戦の試合を全プレイヤーの視点でリアルタイム生成できます。

それだけでなく、各視点からプレイヤーが実際に車を「操作」できるのも特徴です。デモ版でプレイするには以下のサイトにアクセスし、「Play」をクリック。

MIRA
https://mira-wm.com/

4つ表示される画面のいずれかにマウスカーソルを合わせ、「Play as ...」をクリックします。グレーアウトしている画面は世界の他の誰かが操作済みという意味で、それ以外の画面は自動的に「生成」されています。

WASDで移動、Qで左エアロール、Eで右エアロール、スペースでジャンプ、Oでブースト、Pでパワースライドが可能。画面上の動作は操作からワンテンポ遅れますが、これは操作を元にリアルタイムで動作を生成しているのが理由です。MIRAには物理エンジンもレンダリングエンジンも一切搭載されていません。

それなのに、画面上の4台の車が同期して動作するのがすごいところ。ロケットリーグ特有の「ブースト残量が切れるとブーストできない」という動作は、実際にブースト残量を追跡して再現します。ゴールを決めるとちゃんと「GOAL!」という文字とエフェクトを表示してくれます。

MIRAはAI研究機関のGeneral IntuitionとKyutai、それからロケットリーグを提供するEpic Gamesとのコラボで誕生したモデルです。開発チームはMIRAの構築にあたり、人間のプレイではなく、過去に公開された機械学習型ロケットリーグボット「Necto」のデータを利用しています。Nectoの操作精度はとんでもなく高いため、プレイヤーが操作していない車は頻繁にスーパープレーを見せてくれます。

ただ、MIRAのコンテキストウィンドウは約4秒しかないため、ゴールの瞬間を再生する「リプレイ」はめちゃくちゃ。開発チームいわく「リプレイが始まる頃にはMIRAは何が起きたかを覚えていません。そのため、適当に内容を作り出します。生成されるリプレイはもっともらしく見えますが、実際に決まったゴールとは一致しません」とのこと。

開発チームは「このプロジェクトは、フィジカルAIに向けた足掛かりです。現実世界のデータは雑多で量も限られています。制御されたゲーム環境ですらうまく機能しないのであれば、現実世界のデータで成功できるはずがありません」と指摘。大量のゲームデータで事前学習を行い、その後はるかに少量の現実世界データでファインチューニングすれば、現実世界データだけで学習した場合よりも大幅に高性能になる可能性があると考察しました。

MIRAの発表にあたり、開発者はデータセットに加えて学習および推論用コードベース一式を公開しています。