ロボットのトレーニングを大規模言語モデルで加速する技術「DrEureka」をNVIDIAなどの研究チームが開発

ロボットに新しいスキルを習得させる場合、まずシミュレーション環境でトレーニングを行い、それから現実環境に展開するのが一般的ですが、その際にシミュレーション環境と現実環境のギャップが課題になります。このギャップを埋める作業を大規模言語モデルで自動化する技術「DrEureka」を、NVIDIAやペンシルベニア大学、テキサス大学オースティン校などの研究チームが開発しました。

DrEureka | Language Model Guided Sim-To-Real Transfer
https://eureka-research.github.io/dr-eureka/

Nvidia’s DrEureka outperforms humans in training robotics systems | VentureBeat
https://venturebeat.com/automation/nvidias-dreureka-outperforms-humans-in-training-robotics-systems/

ロボットに習得させたいスキルをシミュレーション環境でトレーニングしてから現実環境に展開するアプローチでは、タスクに対する正しいアクションを見つける「報酬関数」とシミュレーション環境の物理パラメータを、手動で設計および調整するのが一般的です。このプロセスでは時間や人的コストがかかるため、研究チームは大規模言語モデルを使用してこの作業を自動化する技術を開発することにしました。

研究チームがシステムの土台にしたのは、NVIDIA Researchが開発したAIエージェントの「Eureka」です。Eurekaはロボットをトレーニングするための報酬アルゴリズムを自律的に作成するAIエージェントで、大規模言語モデルを使用して最適な報酬関数を作成できるとのこと。

今回研究チームは、Eurekaのシミュレーション環境の物理パラメータをランダム化することで、ロボットが現実世界で遭遇する予測不可能な状況にシミュレーション環境での学習を一般化できるようにした「DrEureka(ドメインランダム化Eureka)」を発表しました。

DrEurekaを用いてロボット犬に四足歩行のスキルをトレーニングした実験では、人間が設計した従来のシステムよりも前進速度で34％、さまざまな地形での移動距離で20％優れていることが確認されました。また、ロボットハンドでルービックキューブを回転させるタスクでは、DrEurekaによるトレーニングを行った方が人間の設計したトレーニングよりも300％多くキューブを回転させられたとのことです。

さらに研究チームは、四足歩行のロボット犬に「ヨガボールの上でバランスを取って歩く」というタスクをDrEurekaで学習させる実験も行いました。実際にDrEurekaのトレーニングを受けたロボット犬が、ヨガボールの上でバランスを取って歩く様子は以下の動画で確認できます。

DrEureka 5-minute Uncut Deployment Video - YouTube

画面の左端から、ヨガボールに乗ったまま小刻みに揺れるロボット犬が現れました。

ロボット犬の手綱は人間が持っており、その動きに合わせてロボット犬はヨガボールに乗ったまま移動しています。

地形が変わっても落ちることなく、ヨガボールの上でバランスを取り続けられます。

また、以下の動画ではDrEurekaでトレーニングしたロボット犬が、空気が抜けてだんだんしぼんでいくヨガボールの上で器用にバランスを取り続ける様子を見ることが可能です。

DrEureka Balancing on a Deflating Ball - YouTube

なお、DrEurekaのコードはGitHubでオープンソースとして公開されています。

GitHub - eureka-research/DrEureka
https://github.com/eureka-research/DrEureka