表情を読み取ってリアルタイムで他人に転送できる驚異的な技術が開発される

スタンフォード大学などの研究チームが、人の「表示」を読み取って、その表情を他人に転送してリアルタイムで描画する、という技術を公開しています。リアルタイムで描かれる映像は、もはや本物と区別するのが困難という驚異的なレベルになっています。

Real-time Expression Transfer for Facial Reenactment
http://graphics.stanford.edu/~niessner/thies2015realtime.html

ある人の「表情」だけをそっくりそのまま他人に「移植」する様子は以下のムービーで確認できます。

Real-time Expression Transfer for Facial Reenactment - YouTube


これは右の人物の表情を、左の人物に転送する実験。中央のモニターには二人の表情が映し出されていますが、左の人物の表情は右の人物の表情にリアルタイムで変換された映像になっています。

左の人物が眉を上に動かすと、左の人物の映像も眉が上がった状態に変化。

あまりにもリアルな映像はほとんど遅延がなく、すこぶる自然です。

男女間でも表情の転送は可能。

右の女性の表情は、左の男性にリアルタイムで移植されていますが、違和感のない映像になっています。

左上の男性の表情を、左下の男性に移植したものが右に映像として描かれます。

互いに顔を上下左右に動かしても問題なく表情の変換が可能。

顔を斜めにしても問題なし。

この技術では、表情を「形状」「反射率」「質感」という3つの要素に分解。

3つのパーツをリアルタイムで解析することで、表情を正確に読み取ることが可能になっています。

さらに、顔のパーツである眉、目、鼻、口の変化をモーションキャプチャ。

それらを組み合わせることで、顔の表情を自由自在に作り出せるというわけです。

あまりにも自然な合成は、不気味の谷を完全に越えていそうです。

上の映像は形状のエラー率を、下の映像は輝度のエラー率を示したもので、赤色はエラー率が高いことを示しています。カラー情報(RGB)だけでなく、奥行きの情報(D)を組み合わせることで、表情認識のエラー率を低減させているとのこと。

手を振りかざしてリアルタイム表情移植を妨害すると……

一瞬だけ表情の読み取りに失敗しますが……

瞬時に回復します。

少々の妨害はものともしないようです。

高い表情の読み取り性能によって顔の動きに対しても柔軟に対応可能。上を向かれたり……

両手で覆い隠されても……

すぐに表情を認識することができます。

顔が横を向いていてもまったく問題なし。

このリアルタイム表情転送技術は市販されているRGB-Dセンサーを使って行われているとのことで、「形状」「反射率」「質感」「光量」などの各パラメータを即座に解析して高速にレンダリングすることで、ほとんど現実と区別が付かない自然な「表情」を作り出すことに成功しています。この技術がSkypeなどのビデオチャットやビデオ通話に搭載され、さらに「声」も何らかの方法で同じように変換できれば、新しいタイプのオレオレ詐欺が完成したり、芸能人や役者になりきったムービーを作成したり、いろいろな可能性が広がりそうです。