普通のカメラで撮影した映像を超滑らかにスローモーション化できるAI技術「Super SloMo」をNVIDIAが開発

NVIDIAがマーセッド大学とマサチューセッツ大学アマースト校と共同で、機械学習を利用してムービーの中間フレームを予測・自動生成することで通常のムービーを滑らかなスローモーションムービーに変える技術「Super SloMo」を開発しました。

[1712.00080] Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation
https://arxiv.org/abs/1712.00080

Transforming Standard Video Into Slow Motion with AI - NVIDIA Developer News CenterNVIDIA Developer News Center
https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/?ncid=--43539

Super SloMoによって自動生成したムービーの品質の高さは、以下のムービーを見れば一発で理解できます。

Research at NVIDIA: Transforming Standard Video Into Slow Motion with AI - YouTube


アイスホッケーのゴール前での激しい攻防。プレーを正確に確認するために、スローモーションによる映像が欲しいところ。

ムービーでは、通常撮影の映像を1/8倍速にしたもの(左)と、通常撮影映像からNVIDIA開発のAIによって、中間フレームを作成してスローモーション化したSuper SloMoムービー(右)を、サイドバイサイドで比較。Super SloMo技術でスローモーション化した映像は、破綻することなく滑らかに動きを描き出していることがわかります。

プールに浮かぶ巨大風船に男性が飛び降りるというシーン。

Super SloMo(右)と比較するのは、ハイスピードカメラで撮影したスローモーション映像。

次に水風船をテニスラケットで破裂させる様子の撮影。

ガットの間から水の塊が飛び散る様子を克明にとらえるSuper SloMoのスローモーション映像(下)は、本物のハイスピードカメラで撮影したスローモーション映像とほとんど変わらない品質を維持していることが確認できます。

NVIDIA・マーセッド大学・マサチューセッツ大学アマースト校の共同研究グループが開発した「Super SloMo」は、単一フレームからの補正ではなくマルチフレームから中間フレームを予測して補正するものだとのこと。機械学習ではNVIDIAの「Telsa V100」とディープラーニングライブラリ「cuDNN」、ディープラーニングフレームワーク「Pytorch」を使い、240fpsで撮影された日常的な映像やスポーツの活動的な映像を合わせて1万1000本読み込ませて訓練し、畳み込みニューラルネットワークを鍛えました。トレーニング後、さらにシステム精度を検証するために別のデータセットを使用したとのこと。

この結果、Super SloMoは30fpsや60fpsで撮影されたムービーの中間フレームを自動生成することで、240fpsや480fpsへとフレームレートの高いムービーを構築できるようになり、上記ムービーで再生される美麗なスローモーション映像を作り出すことに成功しています。

Super SloMoの素晴らしいところは、通常カメラで撮影した映像を超高速撮影したかのような滑らかなスローモーションムービーに変更できる点。Super SloMoを使えば、普通のカメラ撮影でスローモーションムービーを作成できるだけでなく、すでに撮影済みの映像をスローモーション化できるというわけです。

Super SloMoについてはユタ州ソルトレークシティで開催されるCVPR 2018で披露される予定です。