iPhoneで顔の動きをキャプチャして「数分」でアニメーションにできる「MetaHuman Animator」をEpic Gamesがリリース、フル活用した映像作品も実例としてメイキング付きで公開

Epic GamesがiPhoneで顔を撮影するだけで表情や口の動きを高精度にキャプチャできるシステム「MetaHuman Animator」を正式公開しました。MetaHuman Animatorを用いると顔の動きを簡単にUnreal Engineへ取り込めるため、専用の機材を用意せずともゲームやムービーにフェイストラッキング技術を適用できるようになります。

Delivering high-quality facial animation in minutes, MetaHuman Animator is now available! - Unreal Engine
https://www.unrealengine.com/en-US/blog/delivering-high-quality-facial-animation-in-minutes-metahuman-animator-is-now-available

MetaHuman AnimatorはUnreal Engine 5.2に搭載された機能で、顔の動きや表情の変化、口の動きを高精度にキャプチャしてゲームやムービーに反映できます。

キャプチャ専用のカメラやマーカーは不要で、iPhone 12以降のiPhoneに無料アプリ「Live Link Face」をインストールするだけでOKです。

iPhoneを使って顔の動きをキャプチャする様子は、以下のムービーで確認できます。

MetaHuman Animator Now Available - YouTube

また、ヘッドマウントカメラシステムを用意すれば、iPhoneよりもさらに高精細なキャプチャが可能です。

MetaHuman Animatorとヘッドマウントカメラを併用して作成した3Dムービーが以下。表情が非常にリアルで実写と区別できないレベルに達しています。

Blue Dot: A 3Lateral Showcase of MetaHuman Animator - YouTube

上記の超リアルムービーのメイキング映像が以下。俳優の顔の動きを完全再現できていることが分かります。

Aaron Sims Creative and Ivan Šijak on Using MetaHuman Animator - YouTube

これまでフェイストラッキング技術は熟練した専門家にしか扱えない技術と考えられてきましたが、MetaHuman Animatorを用いれば誰でも数分間でゲームやムービーのアニメーションにフェイストラッキング技術を適用できます。俳優の顔を撮影した後に短時間でアニメーションを生成できるため、再撮影を即座に実行して時間やコストを削減できるというメリットもあります。

MetaHuman Animatorの詳しい使い方は、以下のムービーで解説されています。

How to Use MetaHuman Animator in Unreal Engine - YouTube