人間の表情をリアルタイムでトラッキングして2次元のキャラクターになりきるとこうなる

手描きの「絵」をもとに変形可能な立体二次元モデルを構築し、絵をそのまま自由自在に動かせるようになる「Live2D」が、現在「Live2D Creative Award 2014」というコンテストを開催しており、Live2Dを使って制作されたオリジナルムービーを2014年3月27日から6月1日までの期間募集していました。

これの応募作品のひとつである「リアルタイムで表情トラッキングしてLive2Dキャラになりきる！【Live2D_2014】」では、リアルタイムに人間の顔をトラッキングすることでLive2Dで作成したキャラクターの表情を人間の表情の変化に合わせて変え、2Dキャラクターになりきることに成功しています。

リアルタイムで表情トラッキングしてLive2Dキャラになりきる！【Live2D_2014】 - YouTube


これはLive2Dを使って作成されたキャラクター。このキャラクターは、とても細かく表情を変えながら体全体も前後左右のあらゆる方向に動いています。

このキャラクターの表情と体の動きは、人間の顔や動きをトラッキングすることでリアルタイムに変化させているとのこと。

「本当に人間の顔に合わせて表情が変化しているのか？」と思っていると、画面の右側に現在リアルタイムでトラッキングしている人間の顔の3Dモデルが表示されました。これとキャラクターの表情や動きがリンクしている、とのことですがどれくらい表情や動きを再現可能なのでしょうか？

まずは顔を上下左右に動かします。

右

左

上

下

と、人間の顔モデルの方がやや大きく動いていますが、キャラクターもそれに追従して上下左右のあらゆる方向を向くことに成功しています。

さらにモデルの人が体を動かせば、キャラクターの上半身を動かすことも可能です。ただし、キャラクターの体も動くとは言うものの、あまり大きく動かすことはできない様子。

さらに口の形も表現可能です。ぽかーんとした表情から……

ニンマリ。人間の顔を表した3Dモデルはかなりニンマリしていますが、キャラクターの方は少し口角が上がったくらいの苦笑い的な表情。

ぼんやりとした表情。

口がパカー。

真顔

笑顔

怒り顔

こんな具合に、人間の表情をトラッキングしてキャラクターにさまざまな表情を取らせることが可能です。

これにより、Skype・ニコ生・USTREAMなどを使って「キャラクターになりきった配信」ができるようになるとのこと。

このムービー作成に使われたのは以下のアプリケーション。

・Live2D
・Unity
・FaceShift Studio

まだまだ表情がかたかったり動きが小さかったりしますが、こういった技術が進歩して自分の好きなキャラクターになりきったり、人間のようにさまざまな表情をみせてくれるキャラクターを見ることができるようになる未来を期待せずにはいられません。