ゲーム内の物体に現実のように触れてサイズや形状までわかるようになるグローブ型コントローラー「Dexmo」

「HTC Vive」「PlayStationVR」「Oculus Rift」にはそれぞれ手の動きを追跡するモーションキャプチャー対応のコントローラーが存在します。これらのコントローラーを使えば、仮想現実内で自分の手の動きを再現して物体をつかむなどの直感的な操作を可能にしますが、さらに指の1本1本の動きまで再現するだけでなく、仮想現実内で触れたものに「触った感覚」を伝えることで、よりリアルな体験を可能にするグローブ型コントローラー「Dexmo」が登場しました。

Dexta Robotics
http://www.dextarobotics.com/

Dexmoを実際に使っている様子は以下のムービーから見ることができます。

[2016]Dexmo: An exoskeleton for you to touch the digital world - YouTube


Viveのコントローラーはトリガーボタンを引くと仮想現実内の「手」がグーになり、ボタンを放すとパーになります。これにより仮想現実内の物体をつかんだり投げたりすることができます。Dexta Roboticsはさらにバーチャルな物体の自然な「感触」を追求した結果、グローブ型コントローラー「Dexmo」を開発しました。

グローブに外骨格を搭載しており、モーションキャプチャーと合わせて力覚フィードバックを指に伝えることで、バーチャルな物体の形状やサイズを認識することができます。

Dexmoを装着した状態で指を動かすと、指の1本1本の動きが正確にゲーム内で再現されます。

VRゲーム内で岩を手に取ると、岩のサイズに合わせて外骨格が指を外側に引っぱるため、岩の形に沿って指の可動域が制限されます。現実では岩を手にしたまま拳を握れないのと同様の感覚が、仮想現実内でも体験できるわけです。

柔らかいヒヨコのオモチャなら、ポヨンポヨンとした「柔らかいもの」とわかるように力覚フィードバックが送られます。

岩であれば指の動きは完全に制限されますが、柔らかいヒヨコのオモチャだとぎゅっとつまむような感覚を得られるわけです。

なお、ゲーム内の物体に触れるようになるコントローラー「UnlimitedHand」というものも存在しますが、UnlimitedHandは筋肉に電気信号を送ることで手のひらなどに「触覚」を再現するという仕組み。Dexmoは「触覚」は得られないものの「物を触っている感覚」を再現することで「形状」「サイズ」などが認識できるという、異なるアプローチがとられています。

ゲーム内の物体に触れるようになる触感型コントローラー「UnlimitedHand」の実物をCEATEC JAPAN 2015で体験してきた - GIGAZINE

これはHTC Viveを使ったテストゲームの模様。DexmoにViveのハンドコントローラーが装着されており、ゲーム内では机の脚を解体して手に取るなどの操作ができています。

机の天板を右手で持ちながら左手でもう一方を持っても、本当に目の前に机の天板があるようにフィードバックが送られているようです。

グローブ型で細かい指の動きまで再現できるので、「自転車のハンドルの先端にあるネジだけ取り外す」といったViveのコントローラーだけでは難しい動きまで可能になっています。

なお、DexmoはHTC ViveのほかOculus Rift・PlayStationVR・HololensなどのVR・AR・MRデバイスに対応する予定とのこと。遠隔でできるマシンエンジニアのトレーニングや、医療機器のリモート操作、教育アプリやDexmoの特性をいかした新しい操作を要するゲームなどに使用可能です。ムービーに登場しているDexmoは開発中の最新版プロトタイプで、今後も改良が続けられる予定です。今後も改良が続けられる予定です。