リアルタイムでムービー中の人の顔を編集するGANベースの「STIT」が登場

ムービーに映る人物の顔を、リアルタイムに違和感なく編集できるGANベースの技術「STIT」が発表されました。

[2201.08361] Stitch it in Time: GAN-Based Facial Editing of Real Videos
https://arxiv.org/abs/2201.08361

Stitch it in Time: GAN-Based Facial Editing of Real Videos
https://stitch-time.github.io/

敵対的生成ネットワーク(GAN)は顔の画像編集に広く採用されている技術です。ただし、この「GANを用いた画像編集」をムービーに適用することは非常に困難であるとされており、その理由はムービーには「時間的整合性」が存在するためです。ムービーは常に時間的に一貫しているため、これを下手に編集するとムービーに違和感が生まれてしまい、編集されたものであることが明確になってしまいます。

しかし、GANの一種であるStyleGANを用いることで、ムービーに映る人の顔を違和感なく編集できるような技術「Stitch it in Time(STIT)」をRotem Tzaban氏ら研究チームが発表しています。

STITは、時間的な一貫性を強制しようとすることなく、フレームレベルでムービーを編集することができます。これにより、スムーズでジッターが少なくなるようにムービーを編集することが可能となります。STITではGANの編集パイプラインに存在する様々なコンポーネントを分析し、一貫性のあるコンポーネントを特定し、それを利用することで「編集されたとわからないようなムービー」を生成できるとのこと。

実際にどのようなムービーが生成できるのかは、以下の通り。以下に並んでいる事例画像をクリックすると、STITが編集したムービーと編集前のオリジナルムービーを同時に再生することが可能です。

左から「Original(オリジナル)」ムービー、人物を「Smile(笑顔)」にしたムービー、人物を「Young(若い)」見た目に編集したムービー

左から、バラク・オバマ元大統領の「Original(オリジナル)」ムービー、「Smile(笑顔)」にしたムービー、「Gender(性別)」を変えたムービー、「Young(若い)」見た目に編集したムービー、「Old(老化)」させたムービー

左から女優のエマ・ワトソンの「Original(オリジナル)」ムービー、「Angry(怒る)」ムービー、「Young(若い)」見た目に編集したムービー

左から「Original(オリジナル)」ムービー、「Eyeshadow(アイシャドウ)」を加えたムービー、「Glasses(眼鏡)」をかけさせたムービー、「Bushy Eyebrows(げじげじ眉毛)」に編集したムービー

左から「Original(オリジナル)」ムービー、「French Beard(フランスひげ)」を加えたムービー、「Glasses Removal(眼鏡を削除)」したムービー

実写ムービーだけでなく3DCGのアニメーションムービーでも表情を変えることが可能。

「STIT」については論文発表用プレプリントサーバーのarXivで発表されているほか、ソースコードはGitHubでも公開されています。

GitHub - rotemtzaban/STIT
https://github.com/rotemtzaban/STIT