画像生成AI「Stable Diffusion」AUTOMATIC1111版でプロンプト・呪文からアニメーションを自動生成できる拡張機能「Deforum」

画像生成AI「Stable Diffusion」はプロンプトあるいは呪文と呼ばれる入力した文章から画像を自動で生成することができます。このStable Diffusionで生成した画像をフレームにしたアニメーションを生成できる「Deforum」を、ウェブUIの決定版といえるAUTOMATIC1111版Stable Diffusion web UIの拡張機能で追加できるようになったので、実際にアニメーションを生成してみました。

deforum/deforum_stable_diffusion – Run with an API on Replicate
https://replicate.com/deforum/deforum_stable_diffusion

GitHub - deforum-art/deforum-for-automatic1111-webui: Deforum extension script for AUTOMATIC1111's Stable Diffusion webui
https://github.com/deforum-art/deforum-for-automatic1111-webui

Deforumの拡張機能を使うためには、AUTOMATIC1111版Stable Diffusion webUIを2022年10月22日以降のバージョンに更新する必要があります。AUTOMATIC1111版Stable Diffusion webUIのインストール方法とアップデート方法については以下の記事でまとめられています。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

また、AUTOMATIC1111版Stable Diffusion webUIの基本的な使い方は以下の記事を読むとわかります。

画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方 - GIGAZINE

まずStable Diffusion web UIのフォルダ「stable-diffusion-webui」を右クリックして、「Git Bash Here」を選択します。

Gitのコマンドプロンプトが開くので、以下のコードを入力して実行します。

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui/ extensions/deforum

コードを実行すると、「stable-diffusion-webui/ectensions」にDeforumのリポジトリがクローンされ、「deforum」フォルダが生成されます。

stable-diffusion-webui/modelsに「Deforum」フォルダを新規作成します。

Deforumで3Dムービーを作成するには以下の2つのファイルを「stable-diffusion-webui/models/Deforum」に保存する必要があります。

・(直接リンク：1.28GB)https://github.com/intel-isl/DPT/releases/download/1_0/dpt_large-midas-2f21e586.pt
・(直接リンク：896MB)https://cloudflare-ipfs.com/ipfs/Qmd2mMnDLWePKmgfS8m6ntAg4nhV5VkUyAydYBp8cWWeB7/AdaBins_nyu.pt

stable-diffusion-webui/models/Deforumに保存するとこんな感じ。

AUTOMATIC1111版Stable Diffusion webUIを起動すると、「Deforum」というタブが出ているのでクリック。左部分が設定パネルで、右部分が生成結果を表示するパネルです。

設定パネルで、「Keyframes」のタブを選択すると、生成するアニメーションの設定を変更できます。「animation_mode」は2Dか3Dか、「max_frames」は最大フレームレート、「border」はフレームの繋ぎ方を設定できます。

「Prompt」欄では生成するアニメーションのプロンプトを入力できます。一般的にStable Diffusionで入力するプロンプトと異なり、生成する画像の表示のタイミングを数字で示す必要があります。

プロンプトの入力方法については、以下のGoogleドキュメントで解説されています。

Quick Guide to Deforumv05 - Google ドキュメント
https://docs.google.com/document/d/1pEobUknMFMkn8F5TMsv8qRzamXX_75BShMMXV8IFslI/

プロンプト欄には最初から例が入力されているので、今回はこのまま「Generate」をクリックして12fpsの2Dアニメーションを生成します。

VRAM6GBのNVIDIA製グラフィックボードを搭載したPCで、生成にかかった時間はおよそ20分弱でした。

できたアニメーションはこんな感じ。雪道を走る車が果物のようなシルエットに変形し、最終的にドリアンが出現するという内容です。

画像生成AI「Stable Diffusion」AUTOMATIC版web UIのDeforum拡張機能で自動生成したアニメーション - YouTube


生成されたアニメーションとフレーム画像は「stable-diffusion-webui/outputs/img2img-images」に生成された「Deforum」フォルダに出力されます。

2Dアニメーションの場合はGIF形式で出力されました。

今回は2Dアニメーションを生成しましたが、3Dアニメーションの場合は深度を表現して立体的に描画したムービーが生成されます。ただし、GitHubのReadMeによれば、3Dアニメーションを生成する場合はVRAM6.4GB以上、最低でも3.8GB以上が必要となっています。TwitterではDeforumで生成したさまざまな作品がツイートされていて、以下の作品を見るとDeforumで生成した3Dアニメーションがどんなものなのかがよくわかります。

ハロウィンをテーマに、カボチャや不気味な建物、恐ろしい顔をした木が登場します。

アニメ「ワンパンマン」のサイタマがウサ耳を生やして登場するムービー。

3Dの特性を生かして、まるで森の中を歩いて進んでいるように見えるムービーも公開されていました。