映像のディテールを復活させながらアップスケールできるAI「VideoGigaGAN」をAdobeの研究チームが開発

Adobeが映像のアップスケールが可能なAI「VideoGigaGAN」を発表しました。VideoGigaGANは既存の映像アップスケールAIと比べてクッキリとした描写が可能なほか、フレーム間のチラつきも抑えられています。

VideoGigaGAN
https://videogigagan.github.io/

AdobeはVideoGigaGANの実力を示す例として、128×128ピクセルの映像を縦横8倍の1024×1024ピクセルへとアップスケールしたデモを公開しています。

オリジナル映像(左)とアップスケール後の映像(右)を大きさをそろえた状態で並べたものが以下。かなり高画質にアップスケールできていることが分かります。

滝の映像をアップスケールするとこんな感じ。アップスケール後の映像(右)はオリジナル映像(左)と比べて水流や植物がクッキリと描写されました。

Adobeによると、VideoGigaGANは既存の映像アップスケールAIと比べてディテールの再現性に優れており、チラつきも抑えられるとのこと。AdobeはBasicVSR(左上)、BasicVSR＋＋(右上)、TTVSR(左下)といった映像アップスケールAIとVideoGigaGAN(右下)の処理結果を比較してVideoGigaGANの性能の高さをアピールしています。

なお、VideoGigaGANの技術的な詳細は以下のリンク先で確認できます。

[2404.12388] VideoGigaGAN: Towards Detail-rich Video Super-Resolution
https://arxiv.org/abs/2404.12388