Facebookが視線にあわせてVR映像のピントを変更可能な新技術「DeepFocus」をオープンソース化

Facebook傘下のVR(仮想空間)企業Oculus VRが開発した技術「DeepFocus」がオープンソースとしてGitHubに公開されています。DeepFocusはVRデバイスの装着者がどこを見ているかを判断し、ニューラルネットワークによって装着者が見ているVR映像に自然なピントやボケを発生させるという技術で、VR空間への没入感をさらに増幅させると期待されています。

GitHub - facebookresearch/DeepFocus: DeepFocus: Learned Image Synthesis for Computational Displays
https://github.com/facebookresearch/DeepFocus

DeepFocus: Learned Image Synthesis for Computational Displays – Facebook Research
https://research.fb.com/publications/deepfocus-siggraph-asia-2018/

Introducing DeepFocus: The AI Rendering System Powering Half Dome | Oculus
https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/

実際にDeepFocusがどういうものかは、以下のムービーを見るとよくわかります。

DeepFocus Demo Video | Facebook Reality Labs - YouTube

画面に表示される赤いカーソルは、VRデバイスのアイトラッキング機能によって読み取られたプレイヤーの注視点を示します。

奥にいるロボットを見つめると、ロボットははっきりと見えるのに対して手元の紙がぼやけますが……

手元の紙を見つめると、今度は紙がはっきり見えるのに対して奥の光景がぼやけます。

再び奥に視線を移すと、手元の紙がぼやけます。ピントスピードはかなり早く、視線を移してすぐに焦点距離が切り替わっていることがよくわかります。

DeepFocusは、さまざまなVR映像にリアルタイムのぼかしレンダリングを最適化できるように、ニューラルネットワークを用いて開発されています。DeepFocusの訓練に用いられたデータセットを生成するジェネレーターはGitHubで公開中。このジェネレーターはさまざまな色や形のオブジェクトをVR空間にランダムに配置し、DeepFocusのニューラルネットワークを訓練するためのVR空間を生成できるというもので、以下のムービーを見ればどういうものかよくわかります。

DeepFocus Random Scene Generator | Facebook Reality Labs - YouTube

Oculus VRがVR映像の焦点を変更できる技術を開発しているのはDeepFocusが初めてではなく、2018年5月に開催されたFacebookの技術カンファレンス「F8」では新型の可変焦点ヘッドマウントディスプレイ「Half Dome」が発表されています。

Oculus VRの研究開発センターである「Facebook Reality Labs(FRL)」が開発したこのHalf Domeは、見ている対象によって映像の焦点を変えることができる「Varifocal」が搭載されていることで話題になりました。Varifocalは装着者の注視点を読み取り、ヘッドセット内のレンズとディスプレイを前後に動かすという機能です。Varifocalがどのように動作するのかは以下のムービーで見ることができます。

Varifocal Actuation - YouTube

しかし、2018年9月に行われたOculus Connect 5ではHalf Domeについての発表はなく、同時期にOculus VRのCEOだったBrendan Iribe氏がFacebookを離れたことが明らかになったこともあり、Half Domeの開発は中止になったのではないかともささやかれていました。

VarifocalやDeepFocusの登場によって、例えば近くにあるものを見ている場合は遠くの風景が少しぼやけ、遠くにあるものを見ている場合は近くにあるものがぼやけるといった演出も可能になり、これまで以上にVR空間への没入感が増すと考えられます。

Facebookの広報担当者はDeepFocusをオープンソース化したことについて、VR・AR業界全体に利益をもたらすであろう可変焦点技術の開発の加速を意図しているとコメント。また、「FRLのディスプレイシステムリサーチ(DSR)チームは、VR・ARの視覚的フロンティアを探求するために、DeepFocusを含む先進的なディスプレイ技術の開発を続けています。Half Domeなど多くのプロトタイプは、FRLで今も開発されています」と述べています。