現実世界より43万倍も高速にシミュレートされた世界でロボットを訓練できるオープンソース生成物理エンジン「Genesis」

カーネギーメロン大学の研究チームが、現実の43万倍の速さでシミュレーションを実行できる物理シミュレーションプラットフォーム「Genesis」を発表しました。GenesisはPythonベースの軽量な設計、高速な物理演算、自然言語による世界生成機能を備えており、オープンソースとして公開されています。

Genesis
https://genesis-embodied-ai.github.io/

GitHub - Genesis-Embodied-AI/Genesis: A generative world for general-purpose robotics & embodied AI learning.
https://github.com/Genesis-Embodied-AI/Genesis

New physics sim trains robots 430,000 times faster than reality - Ars Technica
https://arstechnica.com/information-technology/2024/12/new-physics-sim-trains-robots-430000-times-faster-than-reality/

Genesisで生成されたシミュレーションは以下のムービーで見ることができます。

現実世界より43万倍も高速にシミュレートされた世界でロボットを訓練できるオープンソース生成物理エンジン「Genesis」はこんな感じ - YouTube

Genesisは汎用的な物理エンジンとして一から設計されており、最適化された衝突検知、自動休止機能、接触アイランドなどの機能を活用し、GPUによる並列計算を効率的に行うことができます。

また、Genesisはインターフェースとコア物理エンジンの両方でPythonが採用されており、一般的なハードウェアでも簡単なPythonコマンドで高速なロボットトレーニングシミュレーションが実行可能。また、視覚言語モデル(VLM)を活用し、テキストプロンプトから完全な仮想環境を生成でき、物理法則に従ったカメラの動きやオブジェクトの振る舞いを含む4次元の動的な世界を作り出すことができます。

さらに、Genesisのレンダリングシステムは物理的に正確な光線追跡によるビデオやデータを生成でき、ロボットの訓練データとして利用できます。さらにキャラクターモーション、インタラクティブな3Dシーン、表情アニメーション、感情表現なども生成可能です。

以下はGenesisでロボット訓練用の3D空間を生成する様子。

「Genesis」はロボット訓練用のインタラクティブな3Dシーンの生成が可能 - YouTube

そして、Genesisで表情アニメーションを再現したところが以下のムービー。

「Genesis」で表情アニメーションを再現したところ - YouTube

例えば、以下のロボットアームを使用したシミュレーションシーンでは、4300万FPSという驚異的な処理速度を実現。これは現実の43万倍の速さに相当する高速シミュレーションであり、ロボットの制御を行うニューラルネットワークは実際のコンピュータ時間では数時間の処理で、仮想的には数十年分の学習経験を積むことができます。

オープンソースの物理エンジン「Genesis」でロボットアームをシミュレーション - YouTube

また、Genesisは自然言語による指示から4次元の動的な世界を生成することができ、これには物理的に正確なカメラの動き、オブジェクトの挙動などが含まれます。Genesisはオープンソースとして物理エンジンとシミュレーションプラットフォームが公開されており、将来的には生成フレームワークも段階的にリリースされる予定です。

このプロジェクトにはカーネギーメロン大学やマサチューセッツ工科大学、スタンフォード大学、NVIDIAなど、多くの著名な研究機関や企業が参加しており、ロボット工学の研究や開発を大きく加速させる可能性を秘めています。開発チームは、ロボット工学は人類全体で取り組むべき壮大なプロジェクトであるという考えのもと、Genesisを無償で提供しています。