紅白のPerfume演出に使われた「Dynamic Virtual Display(ダイナミックVRディスプレイ)」がどうすごいのかわかるムービー

2016年の紅白歌合戦で紅組の「Perfume」がパフォーマンスを披露した際、ステージ上では「Dynamic VR Display(ダイナミックVRディスプレイ)」と呼ばれる技術を用いた演出が行われました。このダイナミックVRディスプレイは元々、2016年の9月19日に放送されたMUSIC STATION ウルトラFESでのパフォーマンス用に開発された技術で、その際は「オプティカル・イリュージョン」として紹介されていました。「モーションキャプチャー」「リアルタイム3Dスキャン」「カメラのトラッキングデータを基にした視点依存のグラフィックレンダリング」という3つの技術を組み合わせることで実現した映像技術で、これを開発したRhizomatiks Researchの真鍋大度さんがYouTube上でダイナミックVRディスプレイがどうすごいのかわかるムービーを公開しています。

Dynamic VR Display (Rhizomatiks Research) - YouTube


Perfumeのパフォーマンス用に開発されたダイナミックVRディスプレイ

映像で表示された光るブロックの上に乗る2人の男性。

これは2枚の巨大なスクリーン上に表示されている映像の上に立っているだけなのですが、撮影するカメラから見ると2人の男性がデジタルデータの中に入り込んだような錯覚を覚えます。

ダイナミックVRディスプレイを支える技術のひとつが「モーションキャプチャーシステム」。PCの画面上にモーションキャプチャーシステムで収集されたデータが表示されています。

奥には地面と壁が映っており、ここに映像が映し出されているのが分かります。

ダイナミックVRディスプレイを支えるもうひとつの技術は「リアルタイム3Dスキャンシステム」。

ステージ真ん中に立つ男性の足元には男性と同じ姿の光る人影が表示されています。

男性が歩くと光る人影も同じように動き、まるでデジタルデータ製の影のようです。

そして最後の3つ目が「カメラのトラッキングデータを基にした視点依存のグラフィックレンダリング」。

以下の視点からだと、ステージ上に立っている男性2人と地面と壁に出力される映像の集まりですが……

視点を変える(画面右)と、ステージ上の男性2人は光るキューブの上にいるように見えます。これがまさに「カメラのトラッキングデータを基にした視点依存のグラフィックレンダリング」で、つまり、一定の視点から見ると2枚のスクリーンがひとつのスクリーンであるかのように見えるというわけ。原理的には一定の角度から見ると絵が完成するトリックアートなどと同じ錯視を応用したもの。

正しい角度(右)から見ると光るキューブの上に乗っているように見えますが、別の角度(左)から見ると映像の上に乗っているだけに見えます。

光る影も別アングルからみるとただの線です。

奥から手前に向かって光の線が移動してくる演出だと特に顕著で……

正しい角度から見ないと2枚のスクリーンの境目で光の線がカクッと曲がり、立体感がみじんも感じられなくなります。

光る足場が……

人の立っている場所だけモコモコっと盛りあがってきます。

光るキューブの上に立つ2人。

ダイナミックVRディスプレイによりデジタル世界に迷い込んだような見た目が演出可能で、これによりPerfumeの圧巻のパフォーマンスが完成するわけです。