無料で使えるムービー生成AI「Text2Video-Zero」が登場したので実際に使ってサクッとムービーを作ってみた

2023年3月25日に、ムービー生成AI「Text2Video-Zero」のデモアプリが公開されました。Text2Video-Zeroを使えば文章を入力するだけで数秒間のムービーをサクッと生成できるとのことなので、実際にどんなムービーを生成できるのか試してみました。

Text2Video-Zero - a Hugging Face Space by PAIR
https://huggingface.co/spaces/PAIR/Text2Video-Zero

Text2Video-Zeroのデモアプリを使うには、まず上記のリンク先にアクセスします。

ムービーを生成するには、「Prompt」と記された入力欄に「ムービーの説明文(プロンプト)」を入力して「Run」をクリックすればOK。今回は「A cat is playing baseball.(野球をプレイするネコ)」と入力してから「Run」をクリックしました。

「Run」をクリックするとムービーの生成が始まるのでしばらく待ちます。

しばらく待つと、画面右側にムービーが表示されます。ムービーは左下の再生ボタンをクリックすれば再生可能。なお、今回はムービーが生成されるまでに約13分かかりました。

実際に「A cat is playing baseball.(野球をプレイするネコ)」というプロンプトを入力して生成した4秒間のムービーが以下。野球場らしき場所やボールのような物体がネコと共に映っています。

ムービー生成AI「Text2Video-Zero」で作成した「ネコが野球をプレイするムービー」 - YouTube


生成したムービーを保存するには、右クリックメニューから「名前を付けて動画を保存」を選択すればOK。

Text2Video-Zeroのデモアプリには、使用例として「an astronaut waving the arm on the moon(月面で手を降る宇宙飛行士)」「a sloth surfing on a wakeboard(ウェイクボードでサーフィンするナマケモノ)といった」プロンプトと生成結果のセットが複数用意されており、各プロンプトをクリックすると生成結果を閲覧できます。

また、Text2Video-Zeroには「文章を入力してムービー生成」という機能以外に、「文章と参考ムービーを入力してムービー生成」という機能も搭載されています。

他にも、「文章と参考ポーズを入力してムービー生成」という機能も搭載。

「文章と輪郭データを入力してムービー生成」という操作も可能です。

さらに、追加学習したDreamBoothモデルと輪郭データを用いて、好みの絵柄のムービーを生成することも可能です。

なお、以下のリンク先ではText2Video-Zeroを実行するために必要なファイルが公開されています。ただし、Text2Video-Zeroをローカルで実行するには12GB以上のビデオメモリを搭載したGPUが必要とのことです。

GitHub - Picsart-AI-Research/Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators
https://github.com/Picsart-AI-Research/Text2Video-Zero