「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」を「Stable Diffusion」と「Redream」の組み合わせで実現する方法まとめ、ControlNetも使って高品質な画像を生成可能

画像生成AI「Stable Diffusion」の登場以来、コミュニティの有志たちによって多くのAIツールが開発されています。コミュニティ製ツールの1つである「Redream」は「PCの画面内の一部を常にキャプチャし、キャプチャした画像をimg2imgに流し込んで画像を生成し続ける」という機能を持っています。Redreamを使ってみたところ「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」というメチャクチャ便利な環境を構築できたので、インストール手順や使い方をまとめてみました。

GitHub - Fictiverse/Redream: Realtime Diffusion, using Automatic1111 Stable Diffusion API
https://github.com/Fictiverse/Redream

Redreamで構築した「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」の動作ムービーが以下。この環境を構築するにはRedream以外に「Stable Diffusion web UI(AUTOMATIC1111版)」などのツールが必要なので、各種ツールのインストール手順も含めて環境構築手順を詳しく解説します。

【Stable Diffusion】イラストをAIにリアルタイムで手直ししてもらえる環境を構築してみた【Redream】 - YouTube

・目次
◆1：Redreamをインストールする前準備
◆2：Redreamのインストール手順
◆3：Redreamの使い方
◆4：覚えておきたい便利機能

◆1：Redreamをインストールする前準備
Redreamを使うには、PCに「Stable Diffusion web UI(AUTOMATIC1111版)」「sd-webui-controlnet」「.NET 6.0 Framework」の3点をインストールしておく必要があります。それぞれのインストール手順は以下の通り。

・Stable Diffusion web UI(AUTOMATIC1111版)
Stable Diffusion web UI(AUTOMATIC1111版)のインストール手順は以下の記事で詳しく解説しています。既にインストール済みの人も記事内のアップデート手順を参考に最新版にアップデートしておいてください。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

・sd-webui-controlnet
sd-webui-controlnetは以下の記事を参考にインストールしてください。

ポーズや構図を指定してサクッと好みのイラスト画像を生成しまくれる「ControlNet」＆「Stable Diffusion」の合わせ技を試してみたよレビュー - GIGAZINE

・.NET 6.0 Framework
.NET 6.0 Frameworkをインストールするには、まず以下の配布ページにアクセスします。

.NET 6.0 (Linux、macOS、Windows) をダウンロードする
https://dotnet.microsoft.com/ja-jp/download/dotnet/6.0

配布ページにアクセスしたら、インストールするPCの環境に応じたインストーラーをダウンロード。今回はSDKのダウンロードエリアの「Windows」内にある「x64」をクリックしてダウンロードしました。

続いて、ダウンロードしたインストーラーをダブルクリックして実行します。

以下の画面が表示されたら「インストール」をクリック。

インストールが完了したら「閉じる」をクリック。これでRedreamをインストールする前準備は完了です。

◆2：Redreamのインストール手順
Redreamをインストールするには、まず以下の配布ページにアクセスします。

Releases · Fictiverse/Redream · GitHub
https://github.com/Fictiverse/Redream/releases

配布ページにアクセスしたら最新版の7zファイルをダウンロードします。記事作成時点の最新版はバージョン1.12だったので「Fictiverse_Redream_1.12.7z」をクリックしてダウンロードしました。

ダウンロードした7zファイルを「Explzh」などの対応ソフトで解凍します。

解凍したファイル内の「Redream.exe」をダブルクリックするとRedreamが起動します。

Redreamの画面はこんな感じ。

◆3：Redreamの使い方
Redreamを使うには、Redreamと同時にStable Diffusion web UI(AUTOMATIC1111版)を起動しておく必要があるので、Stable Diffusion web UI(AUTOMATIC1111版)のインストールフォルダ内の「webui-user.bat」をクリックして実行します。

続いて、Redreamでキャプチャするエリアを選択するために、画面左上の赤枠で囲ったボタンをクリック。

すると、キャプチャエリアを示す半透明の四角形が表示されます。四角形は右クリック＆ドラッグで動かせるので、キャプチャしたい位置まで動かします。

キャプチャ位置の指定が完了したらRedreamのウインドウ左上にある再生ボタンをクリックします。再生ボタンが緑色に切り替わると、Stable Diffusionによる画像生成が連続実行され、生成画像が画面内に表示されます。

「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」を構築するには、ペイントなどのイラスト作成ソフトの描画エリアにキャプチャエリアを重ねればOK。この時、キャプチャエリアを表示したままだとイラストが描けないので、赤枠で囲ったボタンをクリックしてキャプチャエリアを非表示にしておきます。

最後に、画面上部のプロンプロ入力欄(緑)とネガティブプロンプト入力欄(赤)に好みのプロンプトを入力すれば準備完了です。

後は、キャプチャエリアを内にイラストを描くだけで「描いたイラストをStable Diffusionのimg2imgに流し込み、画像を連続生成して表示する」という操作が実行されます。これで冒頭にも挙げた「描いたイラストをリアルタイムでAIに手直ししてもらえる環境」を構築できました。

【Stable Diffusion】イラストをAIにリアルタイムで手直ししてもらえる環境を構築してみた【Redream】 - YouTube

Redreamの画面上に表示された画像を保存するには、画面右上の保存ボタンをクリックします。

保存ボタンが緑色に変化すれば、新しい画像が生成されるたびに画像が保存フォルダに保存されるようになります。

画像の保存先は「Redream.exe」と同一階層内の「Frames」フォルダです。

「Frames」フォルダには、保存ボタンが緑色になっている間に生成された画像がどんどん保存されていきます。保存を停止するには保存ボタンを再度クリックすればOKです。

◆4：覚えておきたい便利機能
Redreamには、キャプチャエリア内の画像を元に自動的にプロンプトを生成してくれる機能が搭載されています。プロンプトを自動生成するには画面右上の「T」と記されたボタンをクリック。

しばらく待つと、プロンプト入力欄にプロンプトが自動入力されます。

RedreamではControlNetを使ってキャプチャエリアの「深度抽出」「ポーズ抽出」「輪郭抽出」などの機能を実行できます。ControlNetを使うには画面右下のメニューボタンをクリック。

画面内にControlNetの機能選択欄が表示されるので、使いたい機能を選択します。例えば、ポーズ抽出を使いたい場合は「OpenPose」をクリック。使いたい機能を選択したら再度メニューボタンをクリックして元の画面に戻ります。

これで、キャプチャエリア内の人物などのポーズを再現しやすくなりました。目的にあったControlNet機能を用いることで生成画像の品質を格段に向上できますが、1枚1枚の生成速度が遅くなるので、場合によってはControlNetを使わない方がいいこともあります。