ムービーに映る人や車をリアルタイムでCGに置き換える技術が登場、アニメのキャラクターやVTuberが街を歩けるようになるかも

カメラで撮影した映像から車や人などのオブジェクトを検出して削除し、リアルタイムでCGモデルに置き換えるAIシステム「TransforMR」を、デュースブルク・エッセン大学とチューリッヒ工科大学、自動車メーカーであるポルシェのAIチームが、共同で発表しました。TransforMRは目に映るものをその場ですぐに編集できるので、拡張現実(AR)技術への応用が期待できます。

TransforMR: Pose-Aware Object Substitution for Composing Alternate Mixed Realities
http://www.grosse-puppendahl.com/publications/ismar2021.pdf

Why look at reality when you can edit what you see in real time? - The Verge
https://www.theverge.com/2021/10/13/22723969/mixed-augmented-reality-edit-ar-transformr-research

TransforMRがどういうものなのかは、以下のムービーを見るとよくわかります。

TransforMR: Pose-Aware Object Substitution for Composing Alternate Mixed Realities (ISMAR '21) - YouTube

TransforMRはカメラで撮影している映像からリアルタイムで対象を削除し、あらかじめ用意したCGモデルに置き換えるという技術です。

TransforMRは、「対象を消す」と「対象の動きを追う」という2つの処理をリアルタイムで並行して行います。対象を認識して切り取った場所を背景に合わせて補てんしつつ、対象の動きにリンクさせたCGモデルを重ねて表示させるという仕組みです。

処理した映像が表示されるのはPCやスマートフォンなどのユーザークライアントですが、TransforMRの主な処理はバックエンドサーバーで行われています。データをクラウドに送信するため、TransforMRの実行には4G回線以上が必要だそうです。

置き換えられるCGモデルはUnityで読み込まれます。

たとえばiPadで車が走っている様子を撮影します。

目の前には車が走っていますが、iPad上では車がSFっぽい乗り物に置き換えられています。

以下では手前を歩いている女性と奥で走っている車が、それぞれロボットとSFっぽい乗り物に置き換わっています。女性とCGモデルには身長差があり、ロボットの頭上には背景が切り取られた痕跡が残っています。

車を魔女にしたり……

女性をクマに置き換えることも可能。

リアルタイムで処理を行っているので、その場でCGモデルを変更することもできます。

ポルシェのAI研究者であるモハメド・カリ氏はTransforMRの重要なポイントの1つとして、ポーズ検出が可能であることを挙げています。ポーズ検出ができるということは、例えば人物を検出すると全身の関節を識別できるようになり、CGモデルの動きをターゲットの人物と紐付けることができます。このシステムを使えば、「屋外や特別な設備がない場所で、演者の動きを架空のキャラクターのCGモデルに置き換えてライブ配信を行う」ということも可能になります。

ただし、カリ氏は「現時点では大きな解像度でTransforMRを実行するには非常に多くの計算を必要とするため、技術的な限界があります。デモンストレーションでは512×512ピクセルという非常に小さな映像で行っているので、通信量もごくわずかです」とコメント。また、映像のフレームレートは15fps程度で、ラグは50～100ミリ秒発生し、置き換えられるCGモデルも最高品質ではないとのことで、TransforMRはまだまだ開発途上の段階である模様。

なお、なぜこの技術の研究にポルシェが参加しているのかについて、ポルシェのAIアーキテクトであるトビアス・グロッセ＝プッペンダール氏は「乗客とドライバーの体験を向上させるためです。将来的には、交通渋滞に巻き込まれた人々を楽しませるためにTransforMRを応用することも可能です。私たちの主な疑問は、どうすれば現実を楽しく変えられるかということでした」と説明。ポルシェは他にも、車で走っている時に周囲の風景の変化を検知して適切な音楽を流す「(PDFファイル)SoundRide」というシステムも開発しているそうです。