MetaのVR研究チーム「Reality Labs」が開発中のVRデバイスのプロトタイプ2種類を公開、その新技術とは？

MetaのVRやメタバースに関する研究を行う研究部門「Reality Labs」は「どんな優れたアイデアもデモを披露できなければ意味がない」という「Demo or Die」の考え方を取り入れており、研究中の技術を積極的にプロトタイプにして発表しています。そんなReality Labsが、VRヘッドセットに関する新技術を導入したプロトタイプ「Butterscotch Varifocal」と「Flamera」を紹介しています。

Demo or Die: How Reality Labs’ Display Systems Research Team Is Pushing the VR Industry Toward the Future | Meta Questブログ | Meta Store
https://www.meta.com/ja-jp/blog/quest/reality-labs-research-display-systems-siggraph-2023-butterscotch-varifocal-flamera/

◆Butterscotch Varifocal
「Butterscotch Varifocal」は、Metaが2015年から取り組んでおり、2018年に存在が公になったプロトタイプのVRヘッドセットです。Butterscotch Varifocalの特徴は「Half Dome」と呼ばれる可変焦点技術と、人間の目の解像度を再現する網膜解像度ディスプレイを搭載していることです。

Reality Labsは、Butterscotch Varifocalのレンズを通じて見える映像を以下に公開しています。

Butterscotch Varifocal: Through-the-Lens Footage of Lone Echo II - YouTube

通常、近くのものを見ている時は遠くが、遠くのものを見ている時は近くがボケて見えるようになっています。しかし、VRデバイスで見える景色は平面のディスプレイに映された映像であり、肉眼でバーチャルな物体を見ても、ディスプレイと目の距離は変化しないので、ピントが変化することはありません。

Butterscotch Varifocalに搭載される可変焦点技術「Half Dome」とは、アイトラッキング技術を駆使して「ユーザーがどこを見ているのか」を判断し、それに応じてディスプレイを目に近づけたり遠ざけたりする技術です。実際にVR空間内でピントが変化する様子は以下のムービーで見ることができます。

Butterscotch Varifocal: Through the Lens - YouTube

また、以下のムービーでは、Butterscotch Varifocalに内蔵されるディスプレイを動かすモーターが動作するところを見ることができます。

Butterscotch Varifocal: Motor Detail - YouTube

ただし、市場で容易に入手できる液晶ディスプレイパネルで網膜解像度を達成するには、どうしても視野が狭くなってしまうとのこと。Reality Labsによれば、Meta Quest 2の視野角が90度を超えるのに対し、Butterscotch Varifocalは記事作成時点で50度になっているそうです。

また、Half Domeの可変焦点ディスプレイを導入する都合上、本体サイズもMeta Quest 2よりも少し大きくなってしまうとのこと。Half Domeはこれまで4バージョンが存在し、3番目のバージョンで機械式ではなく電子式の可変焦点システムを導入し、サイズも小さくなったそうです。しかし、パフォーマンスを考慮した結果、4番目のバージョンでは再び機械式の可変焦点システムに戻ったとのこと。

Reality Labsの光学研究者であるYang Zhao氏は「Butterscotch Varifocalの目的は、人間の目の能力にほぼ匹敵するような視覚的鮮明さを提供可能なVRディスプレイシステムを実証することです。網膜解像度とは、ヘッドセットが人間の目で認識できる限界に近い鮮明さで細かい部分を表示できることを意味します。これに加えて、可変焦点ディスプレイは人間の目の調節範囲をサポートするので、さまざまな焦点深度で高解像度を認識できます」とコメントしています。

◆Flamera
VRでは現実には存在しない巨大なスクリーンで映画を見たり、よりインタラクティブなコンテンツに触れたりなど、完全没入型の体験に触れることができます。しかし、ヘッドセットの外にある現実世界を見ることができず、その都度ヘッドセットを取り外す必要があります。この問題を解決するのが「パススルー」であり、Meta Quest 2ではモノクロで、Meta Quest Proではフルカラーで外の世界をVRヘッドセットを介して見ることができます。

Flameraは、より肉眼に忠実なパススルーを生み出すための技術です。Reality Labsは以下のムービーでFlameraを解説しています。

Flamera: Reprojection-Free Light Field Passthrough Overview - YouTube

パススルーは、ヘッドセットに内蔵されているインサイドアウトカメラで撮影した映像を、内部処理によって立体映像に変換して投影するという仕組みです。しかし、インサイドアウトカメラは肉眼と違う位置にあるため、インサイドアウトカメラで撮影した映像は肉眼で見た現実とどうしてもズレが生まれてしまいます。

実際にMeta Quest 2で見たパススルー映像はこんな感じ。白黒でありながら何が写っているのかは理解できるものの、内部処理で生み出された映像なのでゆがみが生まれている上に、映っている物の遠近感もわかりません。

Flameraは肉眼で見るのと同じ光線を直接捉えることを目的とした光学技術です。アイデア自体はシンプルで、たくさんのレンズを用意して視線と同じ方向のレンズの光を読み取ることで、肉眼で見た映像に近いパススルーを実現するというもの。

実際に開発されているFlameraのレンズ部分はこんな感じ。

以下がこのレンズを組み込んだFlameraの実証用ヘッドセットで、見た目は一般的なVRヘッドセットと大きく異なります。Flameraの研究開発を行っている光学研究者のグレース・クオ氏によると、ディスプレイと目の位置が近いほどFlameraのパフォーマンスは高くなるそうですが、Flameraのカメラセンサーを組み込むとヘッドセットがかなり大きなサイズになってしまうため、いかにヘッドセットを薄くできるかという部分を念頭に置いてヘッドセット自体を一から設計しているとのこと。

実際にヘッドセット装着前の肉眼で見た風景はこんな感じ。

そして、Flameraの実証用ヘッドセットで見えるパススルー映像がこれ。肉眼で見た景色とほとんど変わりがありません。

Flameraによるパススルー映像にはゆがみがほとんどなく、物の遠近感もはっきりとわかるので、机の上にあるものを手に取ることも容易になります。

クオ氏は「パススルーは、ヘッドセットを装着している時に周囲とのつながりを維持できるようにするための重要な技術だと思います。商用化できるかどうかという制約を受けずにデモを構築することで、新しい技術をテストし、VRのさまざまな体験をお届けすることができます。たとえヘッドセットの外観が慣れ親しんでいるものとは大きく異なっていても、このデモを通じて将来のVRがどういったものになるかを垣間見られれば幸いです」とコメントしました。