VRヘッドセットを半透明のように見せて装着者の表情を伝える合成技術「Headset Removal」

Oculus RiftのようなVRヘッドセットを使うと仮想現実(VR)や複合現実(MR)の世界に入り込むことが可能ですが、ヘッドセットを装着していない周囲の人はユーザーがどのような体験をしているのか理解しづらいもの。そこで、「仮想現実の世界とユーザーの動きを合成した映像からヘッドセットを取り除く」という試みがGoogleによって行われています

Research Blog: Headset “Removal” for Virtual and Mixed Reality
https://research.googleblog.com/2017/02/headset-removal-for-virtual-and-mixed.html

Google Research and Daydream Labs: Headset Removal - YouTube

VRヘッドセットは、ヘッドセットを装着している人を別世界に連れていってくれます。しかし、ヘッドセットをつけていない人には、装着者が何をしているのかわかりません。

そこで、グリーンスクリーンの前に立ち……

カメラで女性の動きをトラッキングすれば……

バーチャルな世界と女性の映像を合成し、女性がどのような体験をしているのかを見ることができます。

「でも女性の顔が見られないじゃないか！」と別の男性がつっこみます。

ということで現在Googleによって開発されているのが「Headset Removal」という技術。

Headset Removalではまず、ヘッドセットを装着する人の3Dデータを取り込みます。正面から見た顔の立体感や……

左側

右側など、顔を動かしていきます。

そして、今度はディスプレイ上で動く点を目線だけで追っていきます。これで視線の動きをトラッキングするわけです。

実際に取り込まれたデータはこんな感じ。瞬きや視線の動きが重要で、これによって最終的に作成した映像が「まるで生きているかのような」仕上がりになるそうです。なお、顔の3Dデータを取り込み、瞬きや視線の方向といった表情のデータを学習するのにかかる時間は1分以内とのこと。

この3Dモデルを使えば、まるでヘッドセットをつけていないかのような映像を合成できるわけです。

別の男性がHeadset Removalを使うとこんな感じ。

映像を見ていると、確かに目の動きが自然なので、まるで透明なヘッドセットを付けているかのような印象です。

ヘッドセットに手をかける男性。

外すと、透明なヘッドセットというわけではなく、映像が投影されていることがわかります。