ソニーが指の動きを高精度に認識可能なVRコントローラーを発表

ソニー・インタラクティブエンタテインメントの有松和之氏と森英樹氏が「手指のそれぞれの動きを高精度でトラッキングできる次世代VRコントローラー」を開発、プロトタイプを研究成果として公開しています。

Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor | Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems
https://dl.acm.org/doi/abs/10.1145/3313831.3376712

Watch Sony Show Research On Next-Gen Finger-Tracked VR Controllers
https://uploadvr.com/sony-next-gen-vr-controllers-finger-tracking/

指の細かな動きまでトラッキング可能な次世代VRコントローラーの性能は、以下のムービーを見るとわかります。

Prototype PlayStation Next-Gen VR Controllers With Finger-Tracking! - YouTube


画像左側、手に握られているのが開発された新VRコントローラー。棒に台座のような部分が付属した形状をしています。画像右側に映っているのは、コントローラーによって認識された手の3Dイメージです。

ギュッとコントローラーを握りしめると、3Dイメージの手も握る動作を行います。動作反映までのタイムラグはほとんど感じられません。

指を1本ずつ折り曲げるという動作も感知して、3Dイメージに即座に反映可能。

拳を軽く握りしめるといった、微妙な指の開き方も感知します。

どの手指を曲げ伸ばししてもバッチリ認識。

異なる大きさの手であっても、以下の11種類の動作ならば認識できるとのこと。

実際にこのコントローラーを使ってVRゲームを遊んでいる様子が以下。仮想空間上の積み木を……

コントローラーを介して、摘まんだり持ち上げたりして操作可能。

ただし、認識できない指の動きも存在します。以下がその一例で、「人差し指と中指、薬指と小指はくっつけて、中指と薬指の間だけを大きく開く」という動作はうまく認識できません。

同様に、「人差し指と親指をくっつけて輪を作る」という動作も認識不可。3Dイメージを見ると、人差し指を曲げていることまでは認識できているものの、親指とくっついているところまでは感知できていないことがわかります。

また、このコントローラーは汗ばんだ手や……

指輪や腕時計などをつけた手でも問題なく動作するとのこと。

このコントローラーは以下の図のように62個の電極を内部に備えており、各電極が感知する静電容量から手指の動きを判定するというシステムで、カメラで手指の動きを追跡しているわけではありません。それぞれの電極にかかる静電容量に対応する手指の動きの学習には、光学追跡システムと畳み込みニューラルネットワークが用いられています。

このコントローラーはあくまで論文が発表された段階で、実用化されるかは不明です。しかし、ソニーは2019年5月の段階でVRコントローラー向けのハプティクス(皮膚感覚フィードバック)技術のライセンス契約を取得しており、プレイステーション 5用コントローラーの「DualSense」に同ハプティクス技術が搭載予定であることから、今回発表された論文が「ハプティクス技術を備えたPlayStation VR2向けコントローラー」の原型になるという可能性が指摘されています。