画像生成AI「Stable Diffusion」で「画像の続き」を次々に描画して高解像度の画像をサクッと生成できる「Hua」の使い方まとめ

文章を入力するだけで好みの画像を生成できるAI「Stable Diffusion」には、画像の続きを描画する「アウトペインティング」や、画像の一部を生成画像で置き換える「インペインティング」などの機能も搭載されています。そんなアウトペインティングやインペインティングを直感的に利用できるようにしたUI「Hua」が公開されていたので、実際にHuaを用いて画像を生成する手順をまとめてみました。

GitHub - BlinkDL/Hua: Hua is an AI image editor with Stable Diffusion (and more).
https://github.com/BlinkDL/Hua

Huaは、Stable Diffusionの高機能UI「Stable Diffusion web UI(AUTOMATIC1111版)」と連携させて使えるUIです。Stable Diffusion web UI(AUTOMATIC1111版)のインストール手順は、以下の記事で詳しく解説しています。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

Stable Diffusion web UI(AUTOMATIC1111版)のインストールが完了したら、インストール先のフォルダ内に保存されている「webui-user.bat」をメモ帳などのテキストエディタで開きます。

「webui-user.bat」の中には「set COMMANDLINE_ARGS=」と記された部分があるので、「set COMMANDLINE_ARGS=」に続いて「--port xxxxx --cors-allow-origins=https://www.painthua.com」と入力して保存します。「xxxxx」の部分には10000～60000のランダムな値を入力すればOK。今回は「--port 20000 --cors-allow-origins=https://www.painthua.com」と入力しました。なお、「--cors-allow-origins」オプションは古いバージョンのStable Diffusion web UI(AUTOMATIC1111版)ではサポートされていないため、古いバージョンを使っている場合はバージョンアップしてから操作してください。

続いて、Stable Diffusionをインペインティング機能に特化させたモデルデータ「sd-v1-5-inpainting.ckpt」をダウンロードします。まず、配布ページにアクセスして、Hugging Faceにログインした状態で規約をよく読んでから「I have read the License and agree with its terms」にチェックを入れ、「Agree and access repository」をクリックします。

移動先ページの「sd-v1-5-inpainting.ckpt」と書かれた部分をクリックしてモデルデータをダウンロード。ファイルサイズは3.97GBです。

ダウンロードが完了したら、「sd-v1-5-inpainting.ckpt」をStable Diffusion web UI(AUTOMATIC1111版)のインストールフォルダ内にある「models」フォルダの中の「Stable-diffusion」フォルダに移動させます。

次に、Stable Diffusion web UI(AUTOMATIC1111版)を起動して画面左上のモデル選択欄から「sd-v1-5-inpainting.ckpt」を選択します。

ここまで設定できたら、以下のリンクをクリックしてHuaにアクセスします。

Hua - AI painting with Stable Diffusion
https://www.painthua.com/

Huaにアクセスできたら、画面左下の「Config」をクリックして設定を表示させ、「127.0.0.1:7860」と記された箇所の「7860」を上記の手順で設定して値に書き換えます。今回は「127.0.0.1:20000」に書き換えました。これで設定はすべて完了です。

Huaで生成する画像のプロンプトは、画面左上の「Prompt」をクリックして指定できます。今回は初期状態から入力されていた「a color photo of cityscape, street, building, trees, sky」をプロンプトとして使うことにしました。

画像を生成するには、画面内の任意の場所をクリックします。

すると、四角い枠の中に生成枚数とstrenghtの設定エリアが表示されます。この状態でもう一度画面内をクリックすると画像の生成が始まります。今回は生成枚数を3枚に設定して画像を生成しました。

画像生成が始まると、以下のようなノイズが表示されるのでしばらく待機。

画像生成が完了すると、画像上部に画像選択ボタンが表示されます。「Prev(1つ前へ)」や「Next(1つ進む)」をクリックして画像を選択したら、「Accept」をクリックして使用画像を確定します。

1枚目の画像生成が完了したら、2枚目の画像生成位置を指定します。

生成した2枚目の画像が以下。道や木々が1枚目の画像の続きとなるように生成されています。

合計8枚の画像を生成した結果が以下。どこにつなぎ目があるか分からないほど違和感のない画像を生成できました。画像を保存したい場合は画面左側の保存ボタンをクリックするかキーボードの「Ctrl＋S」を押せばOK。

Huaでは、画像の一部を指定して生成画像で置き換える「インペインティング」も可能です。インペインティングを実行するには、画面左側の「Mask」をクリックしてから、画像内の置き換えたい部分を塗りつぶします。

塗りつぶした部分の上部に画像が再生成されると、赤く塗りつぶした部分だけが新たな画像に置き換わります。

最終的に完成した画像が以下。画像生成AIでは正方形以外の比率の画像を生成したり複数の物体を含む画像の生成を一発で作成することが困難ですが、Huaを使えばインペインティングやアウトペインティングを活用して数分で風景画像を生成できました。