ブラウザから今すぐ試せるStable Diffusionを用いた自動GIF生成モデルが登場

画像生成AI「Stable Diffusion」を利用した、GIFアニメーションを自動生成してくれるモデル「stable-diffusion-animation」がGitHubに公開されました。

andreasjansson/stable-diffusion-animation – Run with an API on Replicate
https://replicate.com/andreasjansson/stable-diffusion-animation

GitHubの該当ページにアクセスすると以下のような画面が出現します。すでにサンプルが動いていますが、自身で編集を加えることが可能。なお、編集にはGitHubへのログインが必要です。

最初にどのような絵を生み出し、どのような絵に変化させていけばいいのかを、開始プロンプトと終了プロンプトとして記入し、定義します。

次に生成するGIFアニメーションの幅を128、256、512、768、1024ピクセルから、高さを128、256、512、768ピクセルから選択。ノイズ除去ステップ、一貫性を定めるプロンプトの強度、アニメーションのフレーム数、フレーム間の補間ステップ数、分類子なしのガイダンスの尺度を設定します。

FPS、アニメーションの終わりに開始プロンプトに向かわせるかどうか、フレーム間の補間にFILMを使用するかどうか、生成時に中間層の出力を表示するかどうかを決め、「Submit」をクリックすれば生成が開始されます。

生成には2分ほどかかります。

生成が終了すると以下のようにGIFアニメーションが表示・再生されます。ここからGIFアニメーションのダウンロードなども可能です。

今回生成したGIFアニメーションは以下の画像をクリックすることで再生できます。

開始プロンプトを「The quick brown fox jumps over the lazy dog(素早い茶色のキツネはのろまな犬を飛び越える)」、終了プロンプトを「The lazy dog watches the quick white cat(のろまな犬は素早い白猫を見つめる)」としたのですが、なぜかキツネがキツネを飛び越えようとしているシーンから始まります。

その後に白猫を見つめる犬が登場。

そしてなぜか白猫が2匹に。

最後は開始プロンプトに向かって絵が変化していきました。

文章だけでなく、単語をカンマ区切りで入力してもOKです。今回は開始プロンプトを「black cat(黒猫), three witches laugh(笑う3人の魔女), candles are all out(すべてのキャンドルの火が消える), owl(フクロウ), bloody dagger(血まみれの短剣)」、終了プロンプトを「horrible green-skinned witch with tie(ネクタイを結んだ恐ろしい緑色の肌の魔女), grown serpent lies(横たわる大蛇)」と入力してみました。

上記のプロンプトで生成できたGIFアニメーションは、以下の画像をクリックすることで再生できます。