ロボットに仮想空間で「現実世界とは何か」を学ばせることで学習を高速化する「Habitat 2.0」をFacebookが発表

家の中でアシスタントとして活躍するロボットを作り出すには、ロボットに「現実世界とはどういうものか」を学習させることが必要です。Facebookは仮想空間でロボットを学習させる「Habitat」を2019年から開発していますが、新たに、既存のシミュレーションとは桁違いの高速化を実現し、これまでにないインタラクティブなシミュレーションを実現したという「Habitat 2.0」を発表しました。

Habitat 2.0: Training Home Assistants to Rearrange their Habitat
https://ai.facebook.com/research/publications/habitat-2.0-training-home-assistants-to-rearrange-their-habitat

Habitat 2.0: Training home assistant robots with faster simulation and new benchmarks
https://ai.facebook.com/blog/habitat-20-training-home-assistant-robots-with-faster-simulation-and-new-benchmarks

一般家庭でアシスタントとして活躍するロボットを開発するには、一般家庭で必要な動きをシミュレーションして、事前にロボットに学ばせる必要があります。しかし、物理的な環境でのシミュレーションは多くの時間を要します。このため、Facebookは仮想空間でのシミュレーションを行い、何千時間もかかる訓練を数分で完了させるという方法を編み出しました。この「Habitat」と名付けられたオープンソースシミュレーターの全容は、2019年に論文で発表されています。

[1904.01201] Habitat: A Platform for Embodied AI Research
https://arxiv.org/abs/1904.01201

そして2021年6月30日、Facebookは「Habitat 2.0」を発表。Facebookによると、Habitat 2.0はHabitatの機能を拡張しており、既存の3Dシミュレーターとは桁違いに高速とのこと。このためHabitat 2.0では「テーブルをセットする」「冷蔵庫に食べ物を保存する」といった複雑なタスクも含め、実世界で行われる10億種類ものアクションを実行可能です。静的な3D環境でのシミュレーションだけでなく、インタラクティブなシミュレーションができるという点がHabitat 2.0の優れた点となっています。

Habitat 2.0のシミュレーションは以下のページにあるムービーから確認できます。

Habitat 2.0: Training home assistant robots with faster simulation and new benchmarks

以下が2019年に公開されたHabitatのシミュレーション。障害物のある空間をロボットが動き回るという、静的なシミュレーションです。

その後、HabitatはAIエージェントを何百、何千もの仮想環境で訓練するというものでしたが……

Habitat 2.0ではより動的なシミュレーションが可能になりました。

Habitat 2.0はさまざまな居住の仮想環境で動き回ります。

「棚を開ける」「物を取り出す」「取り出した物を机の上に運ぶ」といった、より現実世界に則した動作をシミュレーションできます。

HabitatのデータセットであるReplicaCADはもともと静的な3Dスキャンデータでしたが、Habitat 2.0では物理パラメータや意味論的なアノテーションなどを含み、これが「操作」や「動き」の訓練を可能にしています。また設定環境にバリエーションを持たせるために、居住空間のレイアウトを111パターン用意すると共に、台所用品・本・家具といったオブジェクトも備えています。これらオブジェクトなどはアーティストによって作成されたものですが、CC BY-NC 4.0ライセンスのため非営利目的であれば自由に使用可能とのこと。

なお、Facebookは3DデータプラットフォームのMatterportと協力してHabitat 2.0で利用される「過去最大の室内における3Dスキャンデータ」をオープンソース化しています。

Habitat - Matterport 3D Research Dataset | Matterport
https://matterport.com/habitat-matterport-3d-research-dataset