2023年02月16日 19時22分レビュー

ポーズや構図を指定してサクッと好みのイラスト画像を生成しまくれる「ControlNet」＆「Stable Diffusion」の合わせ技を試してみたよレビュー

Stable Diffusionなどの画像生成AIの登場によって、手軽に好みの画像を出力できる環境が整いつつありますが、テキスト(プロンプト)による指示だけで好みのポーズのイラストを生成するには長い時間や経験が必要です。新たに開発された「ControlNet」を画像生成AIと併用すれば、好みのポーズを指定したイラストを簡単に生成できるとのことなので、実際にインストールして使い方を確かめてみました。

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet
https://github.com/Mikubill/sd-webui-controlnet

ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08｜note
https://note.com/ddpn08/n/n7fce838499e7

・目次
◆1：ControlNet拡張機能を「Stable Diffusion web UI(AUTOMATIC1111版)」にインストール
◆2：ControlNetのモデルデータをダウンロード
◆3：ControlNetを用いて参考画像から骨格データを抽出して画像生成
◆4：デザインドールでポーズを自作して画像生成

◆1：ControlNet拡張機能を「Stable Diffusion web UI(AUTOMATIC1111版)」にインストール
ControlNetは、画像生成AIにプロンプトを入力する際に、ポーズや深度情報、輪郭などの情報を追加で与えることで、生成画像の品質を向上させられるニューラルネットワークです。今回は、ControlNetを「Stable Diffusion web UI(AUTOMATIC1111版)」向けの拡張機能を使ってみるので、まずは以下の記事に従って「Stable Diffusion web UI(AUTOMATIC1111版)」をインストールしてください。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

「Stable Diffusion web UI(AUTOMATIC1111版)」を起動したら、「拡張機能」をクリックしてから「URLからインストール」をクリックし、URL入力欄に「https://github.com/Mikubill/sd-webui-controlnet」と入力して「インストール」をクリックします。

インストールが完了したら「インストール済」をクリックして画面下部の拡張機能一覧に「sd-webui-controlnet」があることを確認し、「適用してUIを再起動」をクリック。

「txt2img」タブの最下部に「ControlNet」が表示されていれば、拡張機能のインストールは完了です。

◆2：ControlNetのモデルデータをダウンロード
続いて、以下のリンク先にアクセスしてControlNetのモデルデータをダウンロードします。

webui/ControlNet-modules-safetensors at main
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

リンク先には、モデレーターがズラリと並んでいます。今回は「ポーズを指定して画像生成」という機能を使いたいので「control_openpose-fp16.safetensors」をクリック。

続いて「download」をクリックしてモデルデータ(ファイルサイズ689MB)をダウンロードします。

以下のようなファイルをダウンロードできたらOK。

続いて、「Stable Diffusion web UI(AUTOMATIC1111版)」のインストールフォルダ内を「extensions」→「sd-webui-controlnet」→「models」と移動し、「models」フォルダ内にダウンロードしたモデルデータを移動します。

「models」フォルダ内にモデルデータが存在する状態になれば準備完了です。

◆3：ControlNetを用いて参考画像から骨格データを抽出して画像生成
ControlNetを使って「ポーズを指定した画像」を生成するには、ポーズの参考画像を準備する必要があります。参考画像は背景がシンプルなものがベター。今回は以下の画像を用意しました。

画像を生成するには、まず「txt2img」タブの最下部に配置された「ControlNet」をクリック。

すると、「ControlNet」の設定項目が表示されます。

「ポーズを指定した画像」を生成する場合は、「Enable」にチェックを入れた後、「Preprocessor」で「openpose」を選択し、「モデル」でダウンロードしたモデルデータを選択します。さらに、参考画像の解像度も入力します。

続いて、「ここに画像をドロップ」と記された部分に参考画像をドラッグ＆ドロップします。

以下のように参考画像が表示されればOK。

次に、プロンプトを入力して「生成」をクリックします。今回は「girl, yoga」と入力しました。

しばらく待つと、画像が「ポーズの骨格画像」と共に出力されます。

今回生成した画像はこんな感じ。参考画像とまったく同じポーズの画像を出力できました。

◆4：デザインドールでポーズを自作して画像生成
上記の手順で「ポーズを指定した画像」は生成できますが、好みのポーズの参考画像を探し出すのは手間がかかります。そこで、無料で使えるポージングツール「デザインドール」を使って、好みのポーズの参考画像を作成してみます。デザインドールを使うには、まず以下のリンク先にアクセス。

デザインドール | 次世代デッサン人形
https://terawell.net/ja/index.php

続いて「ダウンロード」をクリックします。