NVIDIAがゲームやロボットの動作35万種類以上をリアルタイムで生成する「MotionBricks」を発表

NVIDIAの研究チームがゲームアニメーションやロボット制御向けのモーション生成フレームワーク「MotionBricks」を発表しました。MotionBricksは35万件超のモーションスキルを単一のニューラルバックボーンで扱い、1万5000FPSのスループットと2ミリ秒のレイテンシを達成したとされています。

MotionBricks: Scalable Real-Time Motions with Modular Latent Generative Model and Smart Primitives
https://nvlabs.github.io/motionbricks/

MotionBricksは、ACM Transactions on Graphicsに採択されたSIGGRAPH 2026論文として提示された技術です。研究チームにはNVIDIAの研究者に加えて、スイス連邦工科大学チューリッヒ校、サイモンフレーザー大学、テキサス大学オースティン校の研究者が参加しています。

ゲームやロボットの動作制御では、歩く、走る、しゃがむ、物を拾うといった動作を状態として管理し、入力やイベントに応じて遷移させるアニメーショングラフが広く使われています。しかし、大規模なゲームでは状態や遷移が非常に複雑になり、『アサシンクリード』のようなAAA級タイトルでは1万5000件超のアニメーション、5000個の状態、最大12階層のネストしたグラフを扱う可能性があるとのこと。

MotionBricksはこの複雑さを「smart primitives」と呼ばれる操作単位で吸収します。ユーザーの速度、向き、スタイル指定、ゲーム内イベントなどをキーフレームに変換し、ニューラルバックボーンがタイミング、ルート軌道、姿勢トークン、最終的な連続モーションを段階的に生成します。

研究チームは独自の大規模モーションキャプチャデータセットに加え、HumanML3DやUnitree G1向けにリターゲットしたLaFAN1-G1、独自データの140時間サブセットを用いて評価しました。主要なデータセットは約700時間の高品質モーションキャプチャで、35万件のモーションクリップ、9300種類のスキル、36カテゴリ、163人超の演者から構成されます。

MotionBricksは下流タスクごとの再学習や専用タグ付けを前提にしないことが特徴です。歩行やしゃがみ、走行、這う動き、剣を拾う、ベンチを乗り越える、ドアを開けるといったタスクを、同じニューラルバックボーンに対してキーフレーム制約として渡すことで処理できる設計になっています。

以下はMotionBricksがUnreal Engine 5上で、移動、アクロバット、オブジェクト操作を1本のデモとして連続生成する様子を示したムービー。


MotionBricksの低レベル側はモーションの開始点と目標点の間を埋める「in-betweening」を基盤にしています。まずroot moduleが動作に必要なフレーム数と体の中心軌道を予測し、次にpose moduleが姿勢トークンの分布を予測し、最後にdecoderがキーフレームや軌道を条件として連続的な動作を出力します。

高レベル側では主に移動用の「smart locomotion」と、物体や場面との相互作用を扱う「smart object」が使われます。smart locomotionは任意の速度、向き、スタイル指定から自然な移動を作る仕組みで、けがをした歩き方、ゾンビ風の動き、スキップ、ストレイフ(斜め移動)といったスタイルを、単一のプロンプトからゼロショットで生成できるとのこと。

以下はMotionBricksがゾンビ風の移動スタイルを生成する様子を示したムービー。


また、以下のムービーはゲームパッドやキーボードからの入力に応じて動きの状態を切り替えるのではなく、コマンドに沿って速度・方向・歩き方を実行時に連続的に変化させる「Mixture of Styles」を示したもの。


smart objectは場面や物体とのインタラクションを柔軟なプロキシキーフレームとして指定し、接近、接触、その後の動きまでをニューラルバックボーンが埋める仕組みです。実際にMotionBricksがキャラクターに剣を拾わせるオブジェクトインタラクションを生成する様子を以下のムービーで見ることができます。研究チームはMotionBricksが各データセットでFIDやMMD、ジッター、キーフレーム精度、到達成功率、人間による評価で一貫して良好な結果を示し、2msのレイテンシでキーフレーム間の動作を生成して1万5000FPSのスループットを達成したと報告しています。


そして、キーフレームとキーフレームの間を構成する中間フレームの生成について、MotionBricksと既存の手法6種類で比較したムービーが以下。


MotionBricksはアニメーションだけでなく、Unitree G1ヒューマノイドロボットでも実環境の全身制御に使われています。研究チームは、仮想キャラクターのアニメーションと物理ロボット制御の間を橋渡しし、両領域で統一的なモーション合成を実現することが貢献の1つだと説明しました。

コードとデータの公開については、記事作成時点ではGitHubで初期プレビュー版のコードが公開されています。この初期プレビュー版には軽量なMotionBricks制御のUnitree G1デモと、BONES-SEEDデータセットを組み込む手順を含む自己完結型の合成トレーニングパイプラインが含まれています。

ただし、MotionBricks全体が完全な形で公開されているわけではありません。研究チームは、GR00T Whole-Body Controlのロボット制御フレームワークに完全に組み込まれたモデルと、完全なトレーニングパイプラインを含むフルリリースを2026年7月頃までに目指しており、再現性確認の実験も進行中だと述べています。