ディズニーが高解像度な完全自動顔交換アルゴリズムを開発

画像や動画に写っている人の顔を別の人の顔と全自動で置き換えるアルゴリズムをディズニーリサーチスタジオとチューリッヒ工科大学の研究チームが開発しました。チームによると、リアルタイムでまるで写真のように高精細な置き換え結果をメガピクセル単位の解像度で出力する手法は初のものだとのことです。

High-Resolution Neural Face Swapping for Visual Effects | Disney Research Studios
http://studios.disneyresearch.com/2020/06/29/high-resolution-neural-face-swapping-for-visual-effects/

実際にこの手法を用いて行う顔交換がどんなものなのか、映像が公開されています。

High Resolution Neural Face Swapping for Visual Effects - YouTube


まず登場したのは男性が話をしている映像。4つ並んでいて髪型や輪郭は同じですが、目・鼻・口に関してはまったくの別人。

これは、左端が元のままで、右3つはそれぞれ別人の顔と交換したもの。

研究チームでは、対象となる人物の顔の主立った点を検出した上で1024px四方の解像度に収め、同様にして作成した他の人物の顔との置き換えを行いました。

自由自在に顔の置き換えができます。

また、単に顔を交換するだけではなく、その精度を高める技術も盛り込まれています。たとえば以下の女性の表情は静止画だとわかりにくいですが、目や唇のように目印となる部分を安定化させています。右側は安定化が行われていないため、じっと見ていると目や唇がパーツとして微妙に動いてしまっています。

2017年に登場した「ディープフェイク」との比較も行われています。ディープフェイクもかなり破綻は少ないのですが、ヒゲなどの鮮明さでは今回の技術が優れていることがわかります。