Stable Diffusion開発元が3Dアニメーション生成AI「Stability For Blender」を発表、アニメーション生成や3Dモデルのテクスチャ生成などが可能

画像生成AI「Stable Diffusion」の開発元であるStability AIが、3DCGソフトウェア「Blender」上で動作するAI搭載拡張機能「Stability For Blender」を公開しました。Stability For Blenderでは「Blenderで作成したラフ画像を元に好みの画像を生成」「テクスチャのラフ画像からリアルなテクスチャ生成」「アニメーションを生成」といったAI機能を無料で使えます。

Stability for Blender
https://platform.stability.ai/docs/integrations/blender

Stability AI Announces Stability For Blender; Text To Image Creation in 3D — Stability AI
https://ja.stability.ai/blog/stability-ai-announces-stability-for-blender-text-to-image-creation-in-3d

Stability For Blenderは、オープンソースで開発されている無料3DCGソフトウェア「Blender」向けに開発された拡張機能で、高性能GPUを搭載していないPCでも動作させられるとのこと。Stability For Blenderの主な機能は以下の通り。

◆レンダリング画像から好みの画像を生成
Stability For Blenderでは、「Blenderで画像の下描きをサクッと作成し、その下描きを元に好みの画像を生成」という操作を実現できます。

この時、画像の生成はStability AIのサーバー上で実行されます。このため、高性能GPUを搭載していないPCでも画像生成機能を利用できるとのことです。

◆テクスチャのラフ画像からリアルなテクスチャを生成
3DCGソフトウェアを使って作品を作る際は、3Dモデルの表面に適用するテクスチャの品質がレンダリング結果の品質に直結します。しかし、場面に適したリアルなテクスチャを用意するのはかなり面倒です。Stability For Blenderを使えば、以下の画像左側のようなラフ画像から右側のようなリアルなテクスチャを生成できます。

生成されるテクスチャは、Stable Diffusionと同様にプロンプト(生成画像の特徴を指示するテキスト)によって変化させられます。また、テクスチャ生成もStability AIのサーバー上で実行されるため、高性能GPUの搭載されていない環境でもサクッとテクスチャを生成できます。

◆アニメーション生成
Blenderには、3Dモデルを用いたアニメーション作成機能も搭載されています。通常、Blenderでアニメーションを作成するには各モデルやカメラの動きを手動で設定する必要がありますが、Stability For Blenderを使えば再生時間とプロンプトを入力するだけでアニメーションを生成できます。

以下の画像をクリックすると、生成されたアニメーションを確認できます。かなり粗が目立つ仕上がりですが、素早くアニメーションを生成できるのでアイデア出しなどに活用できそうです。

Stability For Blenderは、以下のリンク先から無料でダウンロードできます。また、Stability AIはインストール手順や各種機能のチュートリアルも用意していますが、記事作成時点ではデモプロジェクトへのリンクが切れていました。

Releases · Stability-AI/stability-blender-addon-public
https://github.com/Stability-AI/stability-blender-addon-public/releases/