たった1枚の画像から高品質なアニメーションを作成できる技術が登場、人型のイラストや写真が1枚あれば自由自在に振付を付与できる

元となる画像データと「動作」のデータを入力することで元の画像を動作データの通りにアニメーションさせる技術の論文がAlibabaの研究チームから発表されました。「Animate Anyone」と名付けられたこの技術を使用することで、ちらつきの少ない高品質なアニメーションが生成可能です。

Animate Anyone
https://humanaigc.github.io/animate-anyone/

下記のムービーで生成されるアニメーションの品質を確認可能です。

Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation - YouTube

今回登場した「Animate Anyone」は、下図左端のような1枚の「元画像」を元に、中央の「動作」データを入力することで右端のように画像の人物を動作データの通りに動かすことができる技術です。

写真だけでなく、イラストからアニメーションを作成することも可能とのこと。

動作にあわせて髪の毛がふわふわ揺れるなど、アニメーションとしての品質はかなり高くなっています。

3DCG風の画像をアニメーションさせる例も掲載されており、元画像は人間っぽい感じであれば何でも良さそうです。

Animate Anyoneは従来の手法と比較して、服の柄など画像の詳細なデータを維持できるほか、ちらつきが圧倒的に低減されているなどの点が優れています。

ダンスなど激しい動きの「動作」データが入力されてもAnimate Anyoneであればほとんどちらつきが発生せず、実際に撮影したムービーと言われても信じてしまいそうなアニメーションとなっていました。

記事作成時点ではまだコードやウェイトが公表されていませんが、論文でモデルの構造を確認することができます。元画像から「ReferenceNet」を通して空間アテンション用の詳細な特徴が抽出され、同時にCLIPエンコーダーを通じてクロスアテンション用の意味的特徴が抽出されます。「動作」の入力であるポーズ・シーケンスはPose Guiderでエンコードされ、ノイズを加えた後Denoising UNetで前述の空間アテンションとクロスアテンション、そして時間アテンションを利用してノイズを除去し、最終的にVAEデコーダが結果をムービーへとデコードするという構造とのことです。