ヘッドセットとコントローラーだけで下半身の動きも再現する技術が開発される

ソニーは2023年に次世代VR機器「PlayStation VR2(PSVR2)」を発売するとし、Metaも2022年10月に新たなVRヘッドセットを登場させると予告しています。気軽に家庭でバーチャル空間に入り込むためのデバイスとして使われるVRヘッドセットですが、これらは頭部のデバイスと両手に持つコントローラーのみで人間の体を追跡している都合上、頭と手の動きしか正確に再現できません。新たに、Metaの研究者がヘッドセットとコントローラーだけで下半身の動きを再現する方法を編み出したと発表しました。

[2209.09391] QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars
https://arxiv.org/abs/2209.09391

Meta Demonstrates Quest 2 Body Tracking Without Trackers
https://uploadvr.com/meta-quest-2-body-tracking-without-trackers/

既存の一般的なVRシステムはヘッドセットとコントローラのみを利用するため、頭と手の動きしか追跡できません。肘、胴体、脚の位置は、逆運動学と呼ばれるアルゴリズムの一種を用いて推測することができますが、肘の動きは正確さに欠け、脚についてはほとんど再現できないそうです。

しかし、Metaの研究者は自社製VRヘッドセット「Meta Quest 2」と機械学習を利用し、ヘッドセットとコントローラーだけで全身のポーズを推測することに成功したと発表しています。

以下が実証実験の様子です。ヘッドセットとコントローラーのみを装着した人間の全身の動きが再現されているのが分かります。

QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars - YouTube


動画の左半分が実際にVRヘッドセットとコントローラーを持っているユーザーの動きを実写で撮影したもので、右半分はヘッドセットとコントローラーから収集したデータを基にユーザーの動きを推定したデータとなっています。装着者が走ったときには、足を曲げて正しく走る様子が再現されます。

上半身と下半身が複雑に動くダンスのような動きをしたときでも、ある程度正確に再現されます。

VR空間に障害物を置けば、アバターに障害物を蹴らせたり、アバターを転ばせたりできるそうです。

ただし、これらの再現はあくまで「推測」であり、下半身の正しい位置と一致しているわけではありません。また、この再現にかかる遅延は160msで、他人の動きを見るのにはいいものの、下を向いて自分の体を見るのには適していないそうです。

Metaの研究者は「自分のアバターに実際の脚と異なる脚があることは、人々にとって非常に不愉快なことなのです。私たちは、次に自然に見える脚の再現に取り組んでいます。それが、私たちの現在の戦略です」と述べました。

この技術を取り上げたニュースサイトのUploadVRは「MetaのAR・VRイベントがもうすぐ開催されるため、ボディトラッキングの発表がその期間中に行われる可能性があります」と記しました。