Oculus VRは新たなアプローチを用いて「5Kの超高画質没入型ムービー」を開発

by Nathanael Coyne

VR関連のハードウェアやソフトウェア開発企業であるOculus VRは、VRヘッドセットOculus GoとOculus Riftの2018年6月のアップデートで新たに「5Kの没入型ムービー」を実験的に導入すると発表しました。Oculus VRの開発者ブログで、新技術の「5K没入型ムービー」がどうやって開発されたのかを説明しています。

Behind the Tech with John Carmack: 5k Immersive Video | Oculus
https://developer.oculus.com/blog/behind-the-tech-with-john-carmack-5k-immersive-video/

June Platform Updates: 5K Video, Embedded Dash Panels, and More | Oculus
https://www.oculus.com/blog/june-platform-updates-5k-video-embedded-dash-panels-and-more/

Oculus VRの最高技術責任者(CTO)であるジョン・カーマック氏は、DOOMというFPSゲームの元祖ともいわれるゲームの開発に主任プログラマーとして携わったスーパープログラマーです。カーマック氏によれば、ビデオのデコーダーに課されている制約にはディスプレイそのものの解像度、FOV(実視野)の範囲、圧縮といったさまざまなものがあるとのこと。Oculusは2015年にリリースした短編VRアニメーション「Henry」を新しいデコード技術を使って5Kで再生する「5K没入型ムービー」として再リリースすると発表しています。

ヘッドセットのVRで360度にわたって5K60fpsムービー(およそ5120ピクセル)を1秒間投影するためには、5120×5120×60で実に15億ピクセルもの情報量が必要になります。これほどの情報量をデコードするのは非常に困難であり、画質やフレームレートを犠牲にすることである程度情報量を落とすことができますが、Oculusは5Kムービーを実現するために従来とは違ったアプローチを検討したとのこと。

by Ted Eytan

VRムービーでは、ヘッドセットを装着した人の視線に合わせて表示される画面が変更されます。一度に表示される範囲は球全体の6分の1に過ぎないため、視界の部分だけをデコードすることができれば、膨大な情報量という問題を解決できます。ところが、ビデオ圧縮の仕組みとして数秒の映像を塊(GOP)としてデコードするため、数秒間で視点を全く変えてしまう可能性のあるVRムービーでは、視野の部分だけをデコードするというシステムは採用できませんでした。

視点に合わせて投影する映像を変更するため、360度の映像は2K×2Kの映像2つに再サンプリングされます。2K×2Kの映像はさらに10ずつに分割され、それぞれ焦点の異なる20の映像が360度ムービーでは作り出されます。ユーザーの視点移動によって投影する映像の組み合わせを変更し、視点の移動に合わせて見える映像を切り替えているのです。

そこでOculusは、360度ムービー全てを完璧に5K画質でデコードするのではなく、球の真上と真下の画質を妥協することにより、全体の情報量を下げるというアプローチをとったとのこと。ほとんどのユーザーはVRムービーを見ている時に真上や真下を見ることがなく、比較的重要度が低い箇所であるということに加え、真下はムービーのカメラ部分となっていることが多く、黒く塗りつぶされている場合もあります。

鮮明にするべき部分と必ずしも鮮明である必要がない部分を区別し、全体としてのクオリティを上げることができたと説明したカーマック氏は、「360度ムービーの大幅な品質改善に成功し、非常に興奮しています」と述べました。