AI生成動画にありがちな「画面がチラチラする」という欠点を改善する「CoDeF」

AIで生成された動画を見てみると、連続した動きの中で文脈を無視するようにオブジェクトが突然別の物に変わったり、「大ざっぱなパラパラ漫画」のように映像がガクガクと揺れたりすることがままあります。そうした問題を改善する「Content Deformation Field(CoDeF：コンテンツ変形フィールド)」が公開されました。

CoDeF
https://qiuyu96.github.io/CoDeF/

[2308.07926] CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
https://arxiv.org/abs/2308.07926

CoDeFのデモ映像を以下から確認できます。CoDeFで動画の処理を行うと、入力された動画に自然な形で脚色を加えることができます。

「CoDeF」のデモ映像 その1 - YouTube

以下動画の左が入力した動画、右が出力された動画です。女性の姿が「ファイナルファンタジー」に登場するティファ・ロックハートに変わっています。

「CoDeF」のデモ映像 その2 - YouTube

以下は草原を駆け抜ける電車がアニメ調に変わる映像です。

「CoDeF」のデモ映像 その3 - YouTube

CoDeFは、映像全体の静的コンテンツを集約する「正準コンテンツフィールド」と、正準コンテンツフィールドからレンダリングされる画像「正準画像」を時間軸に沿ったフレームへ変形する際に記録される「時間変形フィールド」から構成されており、入力映像を基に「フレームの一貫性がある映像」を作成することができるとのこと。

CoDeFに関するリポジトリは以下のページで公開されています。

qiuyu96/CoDeF: Official PyTorch implementation of CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
https://github.com/qiuyu96/CoDeF