緑色をバックに切り抜くクロマキー技術を「マゼンタの照明」で改良するアイデアをNetflixの研究チームが発表

クロマキー合成は、単色のスクリーンを背景にしてムービーを撮影し、背景の色だけを分離してそこに別の映像を合成する技術で、一般的には「グリーンバック」と呼ばれる緑1色のスクリーンを使ってクロマキー合成が行われることがよくあります。そんなクロマキー合成技術を改良するアイデアを、Netflixの研究者が発表しました。

[2306.13702] Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization
https://arxiv.org/abs/2306.13702

Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization
https://dmsm.github.io/magenta-green-screen/

Netflix says its magenta approach beats green screen
https://techxplore.com/news/2023-07-netflix-magenta-approach-green-screen.html

クロマキー合成自体はさかのぼると1939年に公開された映画「オズの魔法使」で使われており、映画の撮影技術が進歩するにつれて、クロマキー合成技術も洗練されてきました。しかし、「オズの魔法使」の公開から80年以上経ってもなおクロマキー合成技術は完璧ではありません。

映像の合成を自然と行うためには、適切かつバランスの取れた照明が必要になります。たとえば、背景に影が落ちると、背景色の一貫性がくずれ、髪の毛や羽毛のような細かい物体の動きを正確に分離するのも非常に困難です。さらに、背景の色だけ分離するということは、衣装や小道具の色に同じ色を使うことができないという制約がつきます。

Netflixの研究者が今回発表したのは、「マゼンタグリーンスクリーン(MGS)」と呼ぶ、クロマキー合成の新しいアプローチです。MGSはグリーンバックではなく、背景の前で演技をする俳優に赤と青のLEDを照明にして光を当てることがポイント。デジタルカメラは基本的に赤・緑・青という3色で色彩をキャプチャするため、赤と青で被写体を照らすことで背景と被写体を明確に分離しやすくなるというわけです。研究チームは「私たちの方法は『画像の透明性はその色と同じくらい重要である』という主張を尊重しています」と述べており、撮影したうちの緑色の色調から透明性を測定し、AIを使ってより自然で高品質な合成を可能にできるとしています。

実際にMGSがどういう技術なのかは、以下のデモムービーを見るとよくわかります。

Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization (DigiPro 2023) - YouTube

撮影したスタジオの風景。グリーンバックの前に、ガラスのボトルを持ってカラフルなシャツを着た女性と男性が立っており、その中央に周囲を反射する金属球とカラーパターン表が設置されています。スタジオ全体の照明の色が赤と青となっているので、全体的に赤紫(マゼンタ)になっています。

カメラで撮影したRAW映像はこんな感じ。

色空間処理を行うと、背景と人物のコントラストがはっきりしました。

ここから赤・青の色調(左)と緑色の色調(右)を分離します。

赤・青の映像に普通の色調に戻し、緑色の色調からアルファチャンネルで透明度を測定します。

抜き出した人物の映像と透明度の情報から、機械学習を使って「白色照明で撮影した状態」に色調調整を行います。

このデータに背景を合成して調整したところが以下。しかし、ボトルを振るなど激しい動きをした時に生まれるモーションブラーには、緑色の部分が残ってしまいます。

そこで、さらに機械学習を用いてモーションブラーに最適化を行うと、緑色の部分が消えました。研究チームは、MGSで得られるアルファチャンネルデータは、より自然な合成を可能にするAIの学習に役立つような高品質なトレーニングデータセットを用意できると述べており、「MGSは従来のクロマキー合成や時分割多重化で得られるマット化よりも優れています」と主張しました。