Googleが映像からリアルタイムで動く人物を消し去る技術を開発、ムービーが公開中

ディープラーニングを用いて静止画から物体を取り除いて補正する技術などは既に実現していますが、Googleはさらに映像の「奥行き」に着目することで、ムービーから人や物を消したり、実際には存在しないオブジェクトを合成する技術の開発を進めています。

Google AI Blog: Moving Camera, Moving People: A Deep Learning Approach to Depth Prediction
https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html

実際にディープラーニングを用いて映像を処理している様子や、その仕組みについての解説は以下のムービーで見ることができます。

Learning Depths of Moving People by Watching Frozen People - YouTube

固定したカメラで撮影した映像なら、それを3D映像にすることはそれほど難しくありません。しかし、カメラと被写体の両方が動いている映像を3D化するのは非常に難しいといわれています。以下のムービーでは、中央の男性が華麗にダンスしながら……

画面手前に移動しつつポーズを決めています。このような映像では、「三角測量の原理を用いて固定カメラから被写体までの距離を予測し、ムービーを3次元的に把握する」という従来のアルゴリズムは有効に機能しません。

そこでGoogleが注目したのが、2016年頃に爆発的に流行したマネキンチャレンジのムービーです。マネキンチャレンジは、ある場所にいる人全員が一斉にマネキンのように制止する様子をムービーに収めたもので、2019年現在でもYouTubeで見ることができます。

Googleはこのマネキンチャレンジの「人間は止まっているのに、カメラは動いている」というムービー約2000本をもとに、ディープラーニングによりAIをトレーニングしました。

マネキンチャレンジの学習によって「カメラが動いている映像」の訓練を行ったわけですが、Googleの目標は「人間もカメラも動いている」ムービーを3D映像としてとらえることです。そこで、Googleは人間の両目をモデルに、運動視差の概念を機械学習に採り入れました。具体的には、ムービーのあるフレームと別のフレームを比較して、オブジェクトの動きを2次元的なベクトルで表すオプティカルフローを算出し、ピクセル単位で変化をとらえるという手法です。

この手法を用いて「奥行き」を予測し、映像から「深度マップ」を作成します。以下の画像のうち、カラフルなものが機械学習に使用したムービーで、その右にあるモノクロの映像が「深度マップ」です。見比べると、手前にあるものほど白く、奥にあるものや背景は真っ黒になっているのが分かります。

冒頭のダンスしながら画面手前に移動する男性の映像を深度マップで表現したところがこれ。

深度マップを利用することで、ムービーにさまざまなエフェクトを加えることができます。例えば「合成ぼかし」を使ってみると、最初は画面の手前から奥に向かって歩いている中央の男性にピントが合っていて、それ以外の風景はぼけていますが……

すれ違う老夫婦にピントをあわせて、中央の男性をぼかすことができました。

もちろん背景にピントを合わせることも。ディープラーニングを使った「深度マップ」により、このような加工をリアルタイムで行うことが可能です。

また、実際には存在しないオブジェクトを挿入することもできます。

さらに応用例としては、ムービーを3Dグラス対応の映像にしたり……

ムービーから人を消し去ったりすることも可能です。これは人の映像を、ムービーの別の場面から得た「人の背景の映像」で塗りつぶすことで実現しているとのことです。