ソフトウェア

Facebookが視線にあわせてVR映像のピントを変更可能な新技術「DeepFocus」をオープンソース化


Facebook傘下のVR(仮想空間)企業Oculus VRが開発した技術「DeepFocus」がオープンソースとしてGitHubに公開されています。DeepFocusはVRデバイスの装着者がどこを見ているかを判断し、ニューラルネットワークによって装着者が見ているVR映像に自然なピントやボケを発生させるという技術で、VR空間への没入感をさらに増幅させると期待されています。

GitHub - facebookresearch/DeepFocus: DeepFocus: Learned Image Synthesis for Computational Displays
https://github.com/facebookresearch/DeepFocus


DeepFocus: Learned Image Synthesis for Computational Displays – Facebook Research
https://research.fb.com/publications/deepfocus-siggraph-asia-2018/


Introducing DeepFocus: The AI Rendering System Powering Half Dome | Oculus
https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/


実際にDeepFocusがどういうものかは、以下のムービーを見るとよくわかります。

DeepFocus Demo Video | Facebook Reality Labs - YouTube


画面に表示される赤いカーソルは、VRデバイスのアイトラッキング機能によって読み取られたプレイヤーの注視点を示します。


奥にいるロボットを見つめると、ロボットははっきりと見えるのに対して手元の紙がぼやけますが……


手元の紙を見つめると、今度は紙がはっきり見えるのに対して奥の光景がぼやけます。


再び奥に視線を移すと、手元の紙がぼやけます。ピントスピードはかなり早く、視線を移してすぐに焦点距離が切り替わっていることがよくわかります。


DeepFocusは、さまざまなVR映像にリアルタイムのぼかしレンダリングを最適化できるように、ニューラルネットワークを用いて開発されています。DeepFocusの訓練に用いられたデータセットを生成するジェネレーターはGitHubで公開中。このジェネレーターはさまざまな色や形のオブジェクトをVR空間にランダムに配置し、DeepFocusのニューラルネットワークを訓練するためのVR空間を生成できるというもので、以下のムービーを見ればどういうものかよくわかります。

DeepFocus Random Scene Generator | Facebook Reality Labs - YouTube


Oculus VRがVR映像の焦点を変更できる技術を開発しているのはDeepFocusが初めてではなく、2018年5月に開催されたFacebookの技術カンファレンス「F8」では新型の可変焦点ヘッドマウントディスプレイ「Half Dome」が発表されています。


Oculus VRの研究開発センターである「Facebook Reality Labs(FRL)」が開発したこのHalf Domeは、見ている対象によって映像の焦点を変えることができる「Varifocal」が搭載されていることで話題になりました。Varifocalは装着者の注視点を読み取り、ヘッドセット内のレンズとディスプレイを前後に動かすという機能です。Varifocalがどのように動作するのかは以下のムービーで見ることができます。

Varifocal Actuation - YouTube


しかし、2018年9月に行われたOculus Connect 5ではHalf Domeについての発表はなく、同時期にOculus VRのCEOだったBrendan Iribe氏がFacebokを離れたことが明らかになったこともあり、Half Domeの開発は中止になったのではないかともささやかれていました。

VarifocalやDeepFocusの登場によって、例えば近くにあるものを見ている場合は遠くの風景が少しぼやけ、遠くにあるものを見ている場合は近くにあるものがぼやけるといった演出も可能になり、これまで以上にVR空間への没入感が増すと考えられます。

Facebookの広報担当者はDeepFocusをオープンソース化したことについて、VR・AR業界全体に利益をもたらすであろう可変焦点技術の開発の加速を意図しているとコメント。また、「FRLのディスプレイシステムリサーチ(DSR)チームは、VR・ARの視覚的フロンティアを探求するために、DeepFocusを含む先進的なディスプレイ技術の開発を続けています。Half Domeなど多くのプロトタイプは、FRLで今も開発されています」と述べています。

この記事のタイトルとURLをコピーする

・関連記事
Facebookが8K対応カメラ17台で全周囲死角なしのVR映像を作れる「Surround 360」を発表 - GIGAZINE

8K60fpsでシネマレベルの超高画質映像を16台のカメラで全方位撮影できるRED共同開発の3Dカメラ「Manifold」をFacebookが発表 - GIGAZINE

4万5000円の一体型VRシステム「Oculus Quest」登場、ゲーミングPCが不要な「次のレベルのVR」へ - GIGAZINE

Oculus VRは新たなアプローチを用いて「5Kの超高画質没入型ムービー」を開発 - GIGAZINE

「歩きVR」への対策が必須になるという指摘 - GIGAZINE

「VRを利用すれば注射嫌いを克服できるかもしれない」という研究結果 - GIGAZINE

in ソフトウェア,   ハードウェア,   動画, Posted by log1i_yk

You can read the machine translated English article here.