Googleが超高品質な動画生成AI「Lumiere」を発表、フレーム同士のつながりが自然で「テキストや画像から動画生成」「写真の一部を動画化」「動画の一部分を指定して加工」などなど機能てんこもり

Googleの研究チームが動画生成AI「Lumiere」を2024年1月24日(水)に発表しました。Lumiereではフレーム同士が自然につながった違和感の少ない動画を生成可能で、テキストや画像を入力して動画を生成できるほか、動画の一部分を指定して別の動画に置き換えたり、写真の一部分だけを動かしたりといった操作も可能です。

Lumiere
https://lumiere-video.github.io/

テキストや画像を入力して動画を生成できるAIは数多く存在していますが、それらのAIの多くは「フレームを複数枚生成し、フレーム同士を補間する」という手法で動画を生成しているため、フレーム同士のつながりが不自然になりがちです。一方で、Lumiereは「動画全体のフレームを一度に生成する」という手法を採用しており、フレーム同士のつながりが自然で違和感の少ない動画を生成可能。生成可能な動画のフレームレートは16fpsで、動画の長さは5秒です。以下の動画を再生すると、Lumiereで生成した動画の例を確認できます。

Lumiere - YouTube


Lumiereでは文章や画像を入力することで入力内容に沿った動画を生成できるだけでなく、画像のスタイルを維持して動画を生成したり、動画の一部分を生成動画で置き換えたりといった機能も備えています。Lumiereの各種機能の概要は以下の通り。

◆画像のスタイルを維持して別の被写体の動画を生成
以下の例では、「木を描いたステッカー風の画像」の「ステッカー風」というスタイルを維持しつつカモやチョウなど別の被写体の動画を生成しています。

以下は、「溶ける黄金」というスタイルを維持しつつ動画を生成する例です。

◆動画をAIで加工
文章や画像だけでなく、動画を入力してAIで加工することも可能です。以下の例はオリジナル動画を「木製ブロックでできた」「折り紙アート」「おもちゃのブロックでできた」「花でできた」といったプロンプトで加工したものです。

◆動画の一部分を加工
動画の一部分だけを選択して加工を施すこともできます。以下の例では女性の首から下だけを選択し、「金色のストラップレスガウンを着ている」「しま模様のストラップレスドレスを着ている」というプロンプトで加工しています。

また、以下の例ではヒヨコの胴体を選択して「バスローブを着ている」というプロンプトで加工したり、頭頂部を選択して「パーティーハットを着用している」というプロンプトで加工したりしています。

◆画像の一部分を動かす
「画像内のチョウの羽根を羽ばたかせる」「画像内の水面を波立たせる」といった操作も可能です。

◆動画の欠けた部分を補う
動画の一部分を黒塗りし、黒塗りした部分を生成動画で補うこともできます。

Lumiereの技術的な詳細は以下の論文で確認できます。

[2401.12945] Lumiere: A Space-Time Diffusion Model for Video Generation
https://arxiv.org/abs/2401.12945