不完全な人間の動作データから人型ロボットにテニススキルを学習させる「LATENT」

中国の清華大学の研究チームが不完全な人間の動作データから運動能力の高いヒューマノイドにテニスのスキルを学習させる「LATENT」を発表しました。LATENTは事前学習、知識蒸留、高レベルのポリシー学習のためのヒューマノイド向け学習パイプラインを提供するためのもので、シミュレーションには汎用物理エンジンのMuJoCoを使用しています。

LATENT
https://zzk273.github.io/LATENT/

人間のアスリートは高速で飛来するテニスボールを打ち返すために、多才で非常にダイナミックなテニススキルを活用します。しかし、このような動作をヒューマノイドで再現するのは非常に困難です。これは、テニスにおける完璧なヒューマノイドの動作データや人間の運動学的モーションデータが参照として不足しているためです。

そこで、清華大学の研究チームは不完全な人間のモーションデータから運動能力の高いヒューマノイドのテニススキルを学習するシステムである「LATENT」を構築しました。不完全な人間のモーションデータは、実際のテニスの試合から得られる正確で完全な人間のテニス動作シーケンスではなく、テニスをプレイする際に使用される基本的なスキルを捉えたモーションフラグメントのみで構成されているため、データ収集の難易度が大幅に軽減されるそうです。

GitHub - GalaxyGeneralRobotics/LATENT: Official implementation of Learning Athletic Humanoid Tennis Skills from Imperfect Human Motion Data · GitHub
https://github.com/GalaxyGeneralRobotics/LATENT

このようなデータは不完全であるにもかかわらず、テニスにおける人間の基本的なスキルに関する事前情報を提供するのに役立つと研究チームは主張しています。さらに、修正と合成を行うことで、幅広い条件下で飛来するボールを一貫して打ち返したり、目標の場所に打ち返したりできる、自然な動作スタイルを維持できるヒューマノイドをトレーニングすることが可能です。

加えて、シミュレーションから実世界への堅牢なデータ転送を実現するための設計案を複数提案することで、Unitree G1に実際にテニスをプレイさせる事にも成功しています。

なお、LATENTを使ってUnitree G1にテニスの動作を学習させ、実際に人間とテニスをプレイさせた様子は以下の動画で見ることができます。

不完全な人間の動作データから人型ロボットにテニススキルを学習させる「LATENT」でUnitree G1にテニスを学習させた結果 - YouTube