専用の機材不要、iPhoneだけで撮影した映像をわずか数分でまったく別の顔に置き換えるEpic Gamesの「MetaHuman Animator」のデモ映像がすごい

演者の顔を3DCG化するフェイシャルキャプチャはゲーム業界などで広く使われていますが、特殊なハードウェアが必要だったり、コンピューター処理とアーティストの手作業による微調整を要したりするため、小規模なスタジオがこれを行うのは簡単なことではありません。このような労力と時間のかかるワークフローに革命をもたらす新ツール「MetaHuman Animator」をEpic Gamesが新たに開発し、デモ映像を公開しました。

MetaHuman に対して高忠実度パフォーマンス キャプチャを簡単に適用できる新しい MetaHuman Animator 機能セット - Unreal Engine
https://www.unrealengine.com/ja/blog/new-metahuman-animator-feature-set-to-bring-easy-high-fidelity-performance-capture-to-metahumans

MetaHuman - Real-Time Facial Model Animation Demo | State of Unreal 2023 - YouTube

Epic’s new motion-capture animation tech has to be seen to be believed | Ars Technica
https://arstechnica.com/gaming/2023/03/epics-new-motion-capture-animation-tech-has-to-be-seen-to-be-believed/

高精細な人間の3DCGを作成することができるEpic Gamesの「MetaHuman Creator」では、3DCGモデルを簡単に作ることができても、そのモデルを人間のように動かすことは非常に困難です。そもそも、3DCGモデルを本物の人間そっくりに動かすことが難しく、熟練したスタジオでも数週間から数ヶ月もかかるハードな作業です。そこで開発されたのがMetaHuman Creator向けプラグインの「MetaHuman Animator」で、iPhoneまたはステレオヘルメット搭載カメラで撮影した映像を処理することで、簡単に実写からの動きを3DCGモデルに反映させることが可能となります。

実際にiPhoneを使ってデモが行われました。撮影に協力したのはHellblade: Senua's Sacrificeで登場キャラクターを演じたMelina Juergensさん。

笑った顔、怒った顔などを作ります。

映像はハイエンドのAMD製品を搭載したマシンに転送され、処理されます。処理は「ボタンを1回クリックするだけ」で始まるとのこと。

処理が終わると、次はエクスポートです。今回撮影した10秒ほどの動画だと、エクスポート処理は数秒で済みます。

そうしてできあがったアニメーションが以下。先ほどJuergensさんが演じた表情が寸分たがわず再現されています。実写映像からモーションを抽出し、3DCGモデルに適用してアニメーション化するまでにかかった時間はおよそ2分と非常に高速。

一度取り込んだ映像は、他の顔でも再現できます。MetaHuman Animatorは、撮影された音声から推定し、リアルな舌の動きも再現することができるとのこと。

デモを実演したEpic Gamesのウラディーミル・マスティロビッチ氏は「できあがったアニメーションがどんな顔のロジックでも常に同じように動き、他のものに移しても壊れないことを保証しています」と語っています。また、パフォーマンスと正確に一致するアニメーションを生成することに重点を置いているため、細部までしっかり再現できるそうです。

MetaHuman Animatorは2023年夏に登場予定。マスティロビッチ氏は「このツールが広く公開されることで、より速く作業し、結果をすぐに確認できることにつながり、複雑なキャラクター作成技術の民主化が期待できます」と語りました。