ディズニーが「自然な顔」を生み出すために3D顔マップとAIを組み合わせた手法を開発

映像作品ではCGやVFXを活用することにより、現実には起こりえないような演出を行ったり、小道具としては作れないような物体を登場させたりすることが可能です。ディズニーのAI研究部門はさらにこの技術を発展させ、眼球や口の中、髪の毛などが存在しない3Dの顔マップとAIを組み合わせることで、生きた人間のような「自然な顔」を作り出す研究を行っています。

Rendering with Style: Combining Traditional and Neural Approaches for High-Quality Face Rendering | Disney Research Studios
https://studios.disneyresearch.com/2021/11/30/rendering-with-style-combining-traditional-and-neural-approaches-for-high-quality-face-rendering/

Disney Combines CGI With Neural Rendering to tackle the 'Uncanny Valley' - Unite.AI
https://www.unite.ai/disney-combines-cgi-with-neural-rendering-to-tackle-the-uncanny-valley/

ディズニーが開発した技術がどのようになっているのかは、以下のムービーで解説されています。

Rendering with Style Combining Traditional and Neural Approaches for High Quality Face Rendering - YouTube

すでに人間の顔をキャプチャする技術はかなり高い段階まで進化していますが……

目や口の中、髪の毛といった細部までは再現されていません。

2016年に公開された映画「ローグ・ワン/スター・ウォーズ・ストーリー」では、1994年に亡くなったピーター・カッシング氏が過去作で演じたウィルハフ・ターキンを再登場させるため、別の俳優が演じた顔のモーションキャプチャーを素材として、CGでカッシング氏の顔を合成するという手法が採られました。この手法で再現されたターキンは高い評価を受けた一方で、「話したり動いたりすると違和感がある」と指摘する声も上がっていました。

いずれにせよ、人間のキャプチャから生成されたモデルと写実的な人間との間には大きなギャップが存在しており、熟練したアーティストによる手作業が必要です。そこでディズニーは、3Dの「顔のスキン」とニューラルレンダリングによって生成された目や口といった要素を組み合わせることで、映像作品に耐えうる「自然な顔」を作り出す手法を開発しました。

研究チームが使用したのは、NVIDIAが開発した画像生成アルゴリズム・StyleGan2です。2018年に発表された初代StyleGanを改良したStyleGan2では、CGよりはるかに写実的な目や口を生成することが可能です。

3Dの顔スキンとStyleGan2によって生成された目や口といった細部を組み合わせることにより、「人間らしい顔」を作り出せると研究チームは述べています。

新たな手法は表情の多様な変化に対応することが可能で……

顔の角度やライティングの変化にも対応できます。

依然として、生成した顔を動かした際に「髪型」を一貫させることが難しいなどの問題があるため、実際に映像作品などに利用するにはさらなる研究が必要ですが、研究チームはこのアプローチが「顔画像のデータセット」を生成する潜在的な手法になるとも主張しています。