日本最大規模のグリーンバックステージでリアルタイムのCG合成撮影が可能な「バーチャル・ライン・スタジオ」をのぞいてきました

約50坪のグリーンバックステージを常設し、AR・VR・MRといったXR撮影に対応する日本最大規模のCG合成専用スタジオ「バーチャル・ライン・スタジオ」が日活調布撮影所内で2020年10月12日に開設しました。Unreal Engineをベースにしたシステムで、これまでにない精度で実写とCG空間をリアルタイムで合成できるというバーチャル・ライン・スタジオは果たしてどんなスタジオになっているのか、実際にのぞいてきました。

バーチャル・ライン・スタジオ株式会社
https://vls.co.jp/

東京都調布市にある日活調布撮影所にやってきました。

日活調布撮影所のSTAGE 4st(第4スタジオ)内に設営されたのが、このバーチャル・ライン・スタジオ。スタジオの広さは150坪で、奥には奥行約11m×幅約9m×高さ×5.4mのグリーンバックステージが設置されています。天井には大小10台の照明が設置され、グリーンバックステージの手前にはカメラや撮影結果を確認するスペースがあります。

天井の様子。1954年の撮影所完成当時から設置されている木製の足場の下にSkyPanel S60-Cが10台、SkyPanel S360-Cが4台設置されています。また、画像では非常にわかりづらいですが、足場にはマッピング用のトラッカーが取り付けられています。

スタジオに備え付けられたカメラはBlackMagicDesignのBlackmagic URSA Mini Pro 4.6K G2で、レンズはFujinon ZK19-90mmが取り付けられています。また、カメラの上に装着されている黒い円筒は光学式カメラトラッキングシステムのRedSpy。この備え付けのカメラとトラッキングシステムはすでにバーチャル・ライン・スタジオに最適化されているので、すぐにでもリアルタイムのCG合成が可能。自前のカメラを持ち込んで撮影もできるそうですが、その場合は別途最適化作業が必要だとのこと。

グリーンバックステージの手前には、目の前のスタジオで撮影した実写映像とCGをリアルタイムに合成するためのブースが設置されています。

グリーンバックステージの手前に設置されたモニターにはCGで作られたステージが映し出されていました。

グリーンバックステージの中にバーチャル・ライン・スタジオ代表取締役社長の田中正さんが立つと……

モニターにはCGのスタジオと合成された田中さんの姿が映りました。バーチャル・ライン・スタジオではグリーンバックステージ上の人物や小道具を、CGで作った背景とその場で合成し、モニターで確認することができます。

リアルタイム合成はZero DensityのRealityによって実現されています。Realityはゲームエンジンとして知られるUnreal Enginをベースに開発されているリアルタイム合成の標準的なソフトで、海外では「リアルタイム合成と言えばReality」と言われるほど一般的なソフトだそうです。

グリーンバックステージで行われているのはいわゆるクロマキー合成ですが、バーチャル・ライン・スタジオで行われている合成は従来のクロマキー合成とは異なり、Realityを用いて「グリーンバックステージをマッピングして3Dデータとして取り込む」という作業を行っています。そのため、通常のグリーンバックステージでは対応できない映像の切り抜きに対応することが可能。

例えば通常のグリーンバックステージでは切り抜くのが難しい影のような半透明な対象も……

リアルタイム合成された映像にしっかり反映できています。

また、田中さんが持っている水の入ったペットボトルも……

通常のクロマキー合成では透明な物体を切り抜くことは困難ですが、Realityを用いて3Dデータの差分を認識することで透明な物体もリアルタイムで超高精度に切り抜くことができます。

また、RedSpyによるカメラトラッキングのおかげで、グリーンバックステージ内で撮影するカメラの位置座標をデータとして把握することができます。RedSpyによって、単に実写に背景を合成するだけではなく、カメラの撮影方向や位置に応じてCG背景のパースや焦点距離を調整し、違和感なく実写と重ね合わせることが可能になるというわけです。

それに加え、長時間に同時複数収録が可能なSoftronのM|Replayを導入しているため、バーチャル・ライン・スタジオは多様な撮影へ対応可能なスタジオとなっています

そんなバーチャル・ライン・スタジオで可能なリアルタイムでの合成がどれだけすさまじいものなのかは以下のムービーを見るとよくわかります。

合成専用スタジオ「xR対応スタジオ」 - YouTube


グリーンバックステージの上で女性が演技をすると、スタジオに設置されたモニターにリアルタイムで合成映像が表示されます。その場で完成した映像を確認できるので、映像を作成する工程を削減することができます。

赤枠で囲まれた部分のように、Realityの技術によって、CGで作られたガラス面に映り込む女性の顔をリアルタイムで描写して合成することができます。また、髪の毛のような細かい部分は、従来のクロマキー合成ではきれいにキーイングすることが非常に難しかったのですが、Realityによる合成ではグリーンバックの存在を一切感じられないレベルでキーイングできています。

バーチャル・ライン・スタジオで合成できるのは背景だけではなく、切り抜いた対象の手前に違和感なくCGを合成することも可能。例えば、以下の画像の男性の手前には何も置かれていませんが……

以下の画像のように、男性の手前にある机に不自然な部分はほとんどありません。RedSpyのカメラトラッキングによって、被写体を映すカメラの方向と位置にあわせて、CG製の机の角度や写り方、ピントボケなどの描写を調整しているため、まるで現実に存在するセットで撮影しているかのような映像を合成できるというわけです。

Redspyによってグリーンバックステージの中で激しいカメラワークをしてもカメラの位置を正確に追従できるので、カメラを激しく動かしても背景を自然に合成することが可能。

また、合成結果をリアルタイムで確認しながら撮影できるので、撮影中に合成するCGに変更を加えたくなっても……

簡単にその場で変更することが可能。撮影現場で完成品に近いイメージまで作り上げることができるので工数の削減につながります。

背景の映像さえあれば、実際に現場に行かなくてもまるで本当にその場で撮影したような映像を撮ることもできます。さらに、グリーンバックスタジオをマッピングしてキーイングするので、以下の画像のように足元に緑色の草があっても、その部分だけが不自然にキーイングされてしまうという事態も起こりません。

2020年冬にはリアルタイム合成を行いながらのライブ配信も可能になる予定で、コロナ禍で制限されている対面イベントにも活用できるようになります。

バーチャル・ライン・スタジオでは国内最大級のグリーンバックステージと最新の機器を利用して、従来のCG合成では不可能だった映像を撮影できるだけで無く、より効率良く撮影作業を行い、工数を削減することもできます。また備え付けのカメラであれば撮影前に照明やカメラを最適化する必要もなく、準備の時間が減り、撮影により多くの時間をかけることもできます。さらに、最適化の必要はありますが、自前のカメラや照明を持ち込んで撮影することも可能です。

使われているRealityはUnreal Engineをベースに開発されているので、Unreal Engineに対応したアセットをそのまま使うことができるというのも大きなポイント。大がかりな映画撮影だけではなく、CMやミュージックビデオの撮影にも大活躍しそうなスタジオで、今後に十分期待できるといえます。