自分の表情をCGにリアルタイムに反映できるOculus Riftを使った装置が開発中

没入型VRヘッドセットのOculus Riftは従来になくリアルなVR(仮想現実)空間を体験できるデバイスですが、これに顔の動きをリアルに読み取るセンサー類を搭載してCGに反映させるシステムが開発されています。この装置を使うと、VR空間を楽しみつつ自分の表情をリアルタイムにその世界の中に反映させることが可能になりそうです。

Hao Li - publications [Facial Performance Sensing Head-Mounted Display]
http://www.hao-li.com/Hao_Li/Hao_Li_-_publications_%5BFacial_Performance_Sensing_Head-Mounted_Display%5D.html

システムが動作する様子は、以下のムービーで確認することができます。

Facial Performance Sensing Head-Mounted Display (SIGGRAPH 2015) - YouTube


Oculus Riftを装着して、大きく口を開けた表情をする男性。その前にあるディスプレイには、男性と同じような表情をCGで再現した顔が表示されています。

男性が口を横にゆがめてみても、CGの顔は若干のタイムラグはあるものの、きちんと追従している模様。

男性が装着しているのは、Oculus Riftとそこから伸びたアームの先にあるIntel製の3Dジェスチャーカメラ。

このカメラと、同じくIntelが提供するIVCAMと呼ばれるソフトウェアを使って、顔の下半分の表情をトラッキングできるようになっています。

さらに、Oculus Riftが顔に当たるパッド部分には8個の「引っ張りセンサー」が内蔵されており、顔の上半分の筋肉の動きを信号に変換できるようになっています。

センサーの搭載位置は、黄色く示されたあたり。

ユーザーの顔の動きは、通常カメラによるRGB映像と、3Dジェスチャーカメラによる深度情報、そして8個の引っ張りセンサーによる情報をもとに、コンピュータによってCGに変換されます。

顔の表情に加え、Oculus Riftが顔(頭)の動きをもトラッキングしてCGに反映させることで、さらに豊かな表情を作り出すことが可能になっているようです。

この技術を使うと、自分の表情をCGによるアバターにほぼリアルタイムで反映させることが可能になり、オンラインチャットなどのコミュニケーションが表情豊かなものになりそうです。

アバターはCGなので、人間の顔の他に動物の顔を使うことも可能。より幅広いキャラクターを使い分けることが可能な様子です。

単に表情を捉えるだけであれば従来からも同様の装置はありましたが、この装置のメリットはコンパクトにまとまったシステムということにありそうです。VRヘッドセットを使うことで、誰でもリアルな映像に没入しつつ表情豊かなアバターでコミュニケーションを取ることができる日がやってくるのかもしれません。