画像生成AI「Stable Diffusion」に描かせたい内容を文章で伝えるだけで一発で何通りものプロンプト・呪文を簡単に自動作成できる「MagicPrompt」Stable Diffusion版

左側の「Initial Text」の欄に、生成したい内容を英語で入力します。今回は「窓際に座る白いワンピースの美少女のイラスト」を生成するプロンプトを作るため、「Illustration of a beautiful girl in white dress sitting by the window」と入力して「送信」をクリック。

すると、左の「Generated Prompts」に、プロンプトが4パターン表示されました。

作成されたプロンプトは以下の通り。
1：Illustration of a beautiful girl in white dress sitting by the window, highly detailed face, beautifull face, beautiful detailed eyes, fantasy art, in the style of JAMES MCCARTHY, illustration, epic, fantasy, intricate, hyper detailed, artstation, concept art, smooth, sharp focus, ray tracing, vibrant, photorealistic
2：Illustration of a beautiful girl in white dress sitting by the window of a spaceship, dark atmosphere, beautiful detailed face, by Stanley Artgerm Lau, WLOP, Rossdraws, James Jean, Andrei Riabovitchev, Marc Simonetti, and Sakimichan, trending on artstation
3：Illustration of a beautiful girl in white dress sitting by the window wearing a black dress, beautifull face, by Alphonse Mucha, by artgerm, body tilted, 4k resolution, highly detailed, beautiful
4：Illustration of a beautiful girl in white dress sitting by the window of her father as a baby. She has light blue eyes, black hair and bright blue hair in a bob cut. By Makoto Shinkai, Stanley Artgerm Lau, WLOP, Rossdraws, James Jean, Andrei Riabovitchev, Marc Simonetti, krenz cushart, Sakimichan, trending on ArtStation, digital

作成された4つのプロンプトをAUTOMATIC1111版Stable Diffusion web UIに入力し、生成設定を行ってから「Generate」をクリックし、実際に画像を生成しました。使用したAIモデルはStable Diffusion v1.4(model.ckpt)、Waifu-Diffusion v1.2(wd-v1-2-full-ema.ckpt)、Waifu-Diffusion v1.3(wd-v1-3-full.ckpt)の3種類で、設定は生成ステップ数が100、サンプラーがEuler a、解像度が512×512ピクセル、CFGスケール7で、シード値は1234、56789、24681357の3種類です。

1つ目のプロンプトを入力した結果が以下。白いワンピースが「white dress(白いドレス)」に変換されてはいますが、「sitting by the window(窓際に座る)」という要素が反映されているため、背景に窓が描かれています。ただし、Waifu-Diffusion v1.3ではなぜか謎の宇宙的恐怖っぽい存在が描かれていて、ややホラー調の仕上がり。

2つ目のプロンプトではなぜか「sitting by the window of a spaceship(宇宙船の窓際に座る)」と、勝手に宇宙船要素が追加されていたので、すべてがSFアニメのようなイラストになっています。二次元イラストサイト・Danbooruのデータセットで学習しているWaifu-Diffusionの生成画像は二次元イラストとしての完成度がより高まっている印象で、特にWaifu-Diffusion v1.3によるイラストは、人物や背景が細部まで細かく描き込まれています。

3つ目のプロンプトで生成した場合では、「by Alphonse Mucha(アルフォンス・ミュシャ風」というプロンプトがかなり強く影響しています。ただし、Stable Diffusionによる絵はかなりミュシャのタッチが強いですが、Waifu-Diffusionによる画像はかなりマンガのような絵柄になっています。

4つ目のプロンプトで生成した画像が以下。「 She has light blue eyes, black hair and bright blue hair in a bob cut(青い目と黒い髪と明るい青い髪をボブカットにしている)」と、女の子の外見についての指定がしっかりと反映されています。また、なぜか赤ちゃんを抱いている構図と解釈され、赤ん坊周りでやや崩れている印象は受けますが、「窓際に座る白いワンピースの美少女」は問題なく描けていました。

なお、この「MagicPrompt」Stable Diffusion版のモデルは15万ステップでトレーニングされ、約8万ものデータセットによるフィルタリングもされており、Stable Diffusionの実例をいくつも見せてくれる「Lexica.art」から抽出されたデータを使用して作られています。作者であるGustavosta氏はほかにも「Dall-E 2」版を既に完成させており、今後はMidourney版も作成予定で、そしてこれらを統合した「完全版」も開発進行中とのことです。