AIを駆使してアニメや映画をヌルヌル動かしてくれるフレーム補間ソフト「Dain-App」

フレームレートが低い動画でもフレームを補間し滑らかに表現することが可能なソフト「Dain-App」がアルファ版として公開されています。フレーム補間技術としてはAMDのFluid MotionやSVPが知られていますが、Dain-Appでは「DAIN」と呼ばれる動画内の空間の深度を認識し、視聴者に近い物体を遠い物体よりも優先してサンプリングし中間フレームを補間するAIを使ってフレーム補間を実現しています。

Dain-App [Alpha 0.1] by GRisk
https://grisk.itch.io/dain-app

同じ動画を半分に区切り、左側に元動画、右側にDain-Appによる処理を施した動画を並べて比較するとこんな感じ。

Interpolating Guldies animation to 60 FPS - YouTube


動画を停止してフレームごとに見てみると、Dain-Appにより中間フレームが補間されているのがよくわかります。最初は同じ場所で宙に球が浮いていますが、1フレーム分動画を進めてみると……

フレーム補間されていない元動画では球がかなり下に落下してしまったのに対し、Dain-Appで補間した動画はフレーム補間により上側に球がとどまっています。

数フレーム分動画を進めると、Dain-Appで補間した動画の球が元動画の球に追いつきました。

ドット絵によるアニメーションをDain-Appでフレーム補間した動画がこれ。左側の元動画はGIFアニメーションのようにカクカクですが、フレーム補間後の右側の動画は滑らかに動いています。

Interpolating Pixel Art and Sprites with AI. - YouTube


セル画やCGで描かれたアニメを用いた比較動画も公開されています。動画の34秒付近や1分50秒付近では、キャラクターの羽や髪の毛が滑らかになびいているのが一目見るだけでわかります。

Turning ANIME to 60 FPS using AI! - YouTube


しかし、3分33秒付近では指の描写が崩れてしまっており、Dain-Appがアルファ版であることがうかがえます。

パラパラマンガのような手描き風のアニメーションでもきれいに補間できています。

Turning animations to 60fps using AI! - YouTube


Dain-App、FFmpeg、VapourSynthで映画のワンシーンをそれぞれフレーム補間した動画と元動画を並べて比較してみるとこんな感じ。1分47秒付近に出てくる多頭の生物の動きを見ると、Dain-Appで処理した動画が最もヌルヌル動いているのがわかりやすいです。

Comparing DAIN interpolation with classic interpolation in Ray Harryhausen stop motions. - YouTube


SVP、DAINと同じくAIによるフレーム補間技術であるsepconvと比較してみると、Dain-Appで処理した動画はSVPで処理したものより滑らかに動いているものの、13秒付近や23秒付近の手の動きなど、キャラクターの動きが破綻している箇所が多い印象を受けます。

Comparing SVP interpolation with AI solutions in anime. - YouTube


Dain-Appの動作にはNVIDIAのCUDA対応GPUが必須です。記事作成時点ではアルファ版であり、ソフトウェア自体のサイズも約1GBとかなり大きいですが、今後のアップデートで改善を目指すとされています。