GoogleのAIが「ムービーの最初と最後のコマ」から途中のコマを生成することに成功

GoogleのAI研究チームが査読前論文の公開サイトarXivに掲載した論文によれば、新たに開発したAIでムービーの最初と最後のコマだけを手がかりに、抜け落ちた途中のコマを生成することに成功したそうです。

From Here to There: Video InbetweeningUsing Direct 3D Convolutions
(PDFファイル)https://arxiv.org/pdf/1905.10240.pdf

Google's AI can create videos from start and end frames alone | VentureBeat
https://venturebeat.com/2019/05/28/googles-ai-can-create-videos-from-start-and-end-frames-alone/

AIの研究を行っているGoogle Researchの研究者であるYunpeng Li氏、Dominik Doblek氏、Marco Tagliasacchi氏は、ムービーの最初と最後のコマから、もっともらしいムービー途中のコマを生成するAIを開発しました。

開発されたAIは動物の視覚皮質を参考にしたディープニューラルネットワークで構成されており、2次元畳み込みイメージデコーダー、3次元畳み込み潜在表現ジェネレーター、そしてビデオジェネレーターといった要素からなっています。最初に画像デコーダーが最初と最後のコマを潜在的空間にマッピングし、潜在表現ジェネレーターが入力フレームの情報を学習、最後にビデオジェネレーターが途中のコマを生成するとのこと。

by geralt

研究者らは3つのサンプルムービーを用いて、開発したAIの性能を実験したそうです。各サンプルは16コマからなる短いムービーであり、コマあたりの解像度を64×64ピクセルに下げた状態でした。このムービーから抽出した最初と最後のコマだけをAIに与え、途中の14コマを生成させました。

AIは各サンプルムービーについて100回モデルを実行し、モデルを修正して同じプロセスが10回ほど繰り返されました。実験はデータGPUのNvidia Tesla V100を用いて行われ、合計で5日ほどかかったとのこと。

実験の結果作られた3本のムービーで、AIが作成したコマと実際のコマをそれぞれ比較したのが以下の画像です。各ムービーについて、上の列がAIによって生成されたコマであり、下の列が実際のムービーから抽出したコマ。AIによって生成されたコマと実際のコマにそれほど大きな違いはないように見えます。

研究者らは「マンガのコマから自動でアニメーションを作ることができるシステムを想像してみてください。間違いなくアニメーション業界に革命を起こすでしょう」と述べています。記事作成時点では、AIにマンガのコマからきれいなアニメーションを作るほどの能力はなく、技術が追いついていませんが、AIの進歩によってアニメーション業界の省力化も具体的な目標となりつつあるとしました。