Googleがクロマキー合成なしで撮影中のムービーから背景をリアルタイム除去することに成功

YouTube ライブなどで生放送を行っている人を見ると、配信者の背景にゲーム画面など別の画面を映し出していることがあります。この撮影を行うにはクロマキー合成などを使用することで実現可能ですが、あらかじめ背景となる部分にグリーン一色の壁を張り巡らすなど、手間のかかる準備が必要です。そこでGoogleはこのような手間のかかる準備をなくすため、撮影中のリアルタイムの映像から背景のみを除去する技術を開発したとのことです。

Research Blog: Mobile Real-time Video Segmentation
https://research.googleblog.com/2018/03/mobile-real-time-video-segmentation.html

Googleによると、この人物と背景を分離させる「セグメンテーション」技術は「畳み込みニューラルネットワーク(CNN)」を使用した機械学習で実現しているとのことで、実際のデモ画像を見ても、ほとんど違和感なく別の背景の中に人物をセットできていることがわかります。

このように精度の高い「セグメンテーション」を可能とするため、Googleでは数十万の画像データを学習させているとのことで、さらに学習させた画像には「髪」「首」「肌」など、各部位ごとに情報を付加していたそうです。

この技術はスマートフォンでの利用を想定しており、従来技術のLSTMやGRUで背景を除去する処理を行ってしまうと、負荷が高すぎるという欠点があるとのこと。そこで研究者は、「ムービーはフレームと呼ばれる1枚1枚の画像の集まりであり、隣合うフレームにほとんど変化は生じないはずだ」という発想から人物の位置を各フレーム毎に計算して見つけるのではなく、ひとつ前のフレームにあった人物の位置も考慮して現在の人物の位置を計算することで、計算負荷を減らしているというわけです。

Googleでは、他にも計算負荷を低減するための工夫を凝らしており、iPhone 7では100FPS以上、Pixel 2では40FPS以上のムービー撮影でもこのセグメンテーション技術を適用できるほど、スマートフォンで高速な処理の実現が可能になったそうです。なお、このセグメンテーション技術は、YouTubeの「ストーリー」フォーマットに組み込む予定としていますが、具体的な時期等は明確にされていません。