怒り・悲しみ・喜びなどの表情を複数の映像を合成してリニアに作り出す技術「FaceDirector」をディズニーが開発

名優は表情や抑揚を巧みに操ることで、同じセリフでもまったく別のシーンを作り出せるものですが、複数の映像を合成することで感情表現を自由自在に調整する映像技術「FaceDirector」をDisney Researchが開発しました。

Disney Research » FaceDirector: Continuous Control of Facial Performance in Video
http://www.disneyresearch.com/publication/facedirector/

FaceDirectorがどんな映像技術なのかは以下のムービーで解説されています。

FaceDirector: Continuous Control of Facial Performance in Video - YouTube


FaceDirectorは、2つの異なる表情を、破綻なくリニアに合成できる技術です。あるセリフを話す男性。感情は表情に表れますが、感情が現れるタイミングは撮影ごとに異なるのが普通です。

テイク2では、同じセリフを話しつつも表情自体を大きく変えています。

セリフを発するタイミングを変えずに単にシンクロさせようとしても……

言葉を発するタイミングが違うので、当然ながら表情もバラバラ。

FaceDirectorは2つの映像の俳優の表情とキュー(せりふを開始する合図)のタイミングを分析してグラフ化し、それに沿って2つの映像をシームレスに合成することが可能。

これにより、撮影した2つのムービーはセリフを発するタイミングがそろうだけでなく……

テイク1とテイク2の「割合」を変えることで、「表情」自体をリニアに調整可能。左に表示されたテイク1とテイク2の間のグラフは、横軸が時間、縦軸が上に行くほどテイク1に、下に行くほどテイク2の割合が増えることを表すグラフで、グラフ通りに合成された映像が、右側に表示されています。グラフの形は自由に変更できるので、表情を自在に作り出せるというわけです。

FaceDirectorを使えば感情を調整することができます。まずは「怒り」の感情表現で撮影。

続くテイク2では「悲しみ」の感情を表現。

これらをグラフのように、最初はテイク1の悲しみの感情で、表示させて……

あるタイミングで一気にテイク2の怒りの感情に変化させるとこんな感じ。グラフが急落するのに合わせて、悲しみから怒りへと感情表現が一気に変化していますが、合成された映像は破綻することなく滑らかに表情が変わっていくのが確認できます。

「恐怖」の感情と……

「自然」な感情を合成。

自然な表情が……

グラフの変化を境目に、恐怖の表情へ。

グラフを波打たせると……

自然→恐怖→自然へと、感情表現を変化させられます。

表情を極端に変化させることも可能。悲しみのどん底から……

一気に幸せの絶頂へ。

FaceDirectorは動きがあるシーンにも対応できます。橋の上を歩きながらセリフを話す女性。

同じ橋の上を歩きながら2回目の撮影。

FaceDirectorによって感情表現を合成しつつ、さらには映像の傾きなども補正。

動きがあるシーンでも破綻することなくシームレスに映像を調整できます。

FaceDirectorを開発したDisney Researchによると、映画の撮影では最高の映像を求めて同じシーンを数十回と撮り直すことは珍しいことではなく、これは撮影コストがかさむ大きな原因になっているとのこと。FaceDirectorは、3Dカメラなどの特別な装置を必要とせず通常のカメラで撮影した映像をソフトウェアで処理することができるので、FaceDirectorを使って表情を調整・修正することで、わずか数回の撮影から最高の映像を映画監督は手に入れられるため、撮影コストが劇的に下がり、潤沢な制作費を持たないクリエーターでも良質な映画を撮影することができると述べています。