2022年09月22日 06時00分レビュー

画像生成AI「Stable Diffusion」で画像の部分修正を行うマスクを文字列から自動で作成してくれる「txt2mask for Stable Diffusion」の導入＆使い方まとめ

画像生成AI「Stable Diffusion」をウェブブラウザから簡単に操作できる「AUTOMATIC1111版Stable Diffusion web UI」用のアドオンで、画像から画像を生成する「img2img」モードで文字列に応じて自動的に画像を部分修正するためのマスクを作成してくれるのが「txt2mask for Stable Diffusion」です。このアドオンを導入することで、ブラシツールで画像を選択してマスクを作成する必要がなくなります。

GitHub - ThereforeGames/txt2mask: Automatically create masks for Stable Diffusion inpainting using natural language.
https://github.com/ThereforeGames/txt2mask

AUTOMATIC1111版Stable Diffusion web UIをローカル環境に導入するやり方は以下の記事にまとめられています。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ - GIGAZINE

また、AUTOMATIC1111版Stable Diffusion web UIの基本的な使い方は以下の記事を読むとよくわかります。

画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方 - GIGAZINE

そして、画像から画像を生成する「img2img」の基本的な使い方は以下から。

画像生成AI「Stable Diffusion web UI(AUTOMATIC1111版)」で元画像と似た構図や色彩の画像を自動生成したり指定した一部だけ変更できる「img2img」の簡単な使い方まとめ - GIGAZINE

txt2mask for Stable Diffusionの導入方法は、GitHubにホストされているリポジトリをクローンあるいはダウンロードしてAutomatic1111版Stable Diffusion web UIのベースディレクトリに配置するだけ。上記GitHubのページの「Code」をクリックし、「Download ZIP」を選択。ZIP形式でtxt2mask for Stable Diffusionのパッケージをダウンロードします。ファイルサイズは約1.13MBです。

ダウンロードしたZIPファイルをExplzhなどのフリーソフトやWindowsの標準機能で解凍し、中身をAUTOMATIC1111版Stable Diffusion web UIのフォルダに上書きします。

今回書き換えたい画像は、Stable Diffusionで生成したスティーブ・ジョブズ。プロンプトは「A beautiful oil painting portrait of steve jobs wearing medieval clothes and holding an iPhone by rembrandt and dino valls and geaorge stubbs and greg rutkowski」で、ステップ数は30、サンプラーはEuler a、CFGスケールは7、シード値は3167673378です。

Automatic1111版Stable Diffusion web UIを実行し、「img2img」タブを選択し、上記画像を読み込みます。

「Script」のプルダウンから「txt2mask v 0.0.5」を選択。

今回はジョブズの着ている黒い服をスパイダーマンの服に変えてみます。まずはtxt2mask v 0.0.5の「Mask prompt」に「black suits」と指定します。「Mask precision」はマスクの選択精度、「Mask padding」はマスクした部分をどれだけ指定した部分で埋めるかを示します。また、「Show mask in output?」にチェックを入れると、自動でかけたマスクのアルファ値の画像も一緒に出力されます。