画像生成AI「Stable Diffusion」でイラストのクオリティと多様性を劇的に改善する「Advanced Prompt Tuning(APT)」

画像生成AI「Stable Diffusion」が2022年8月に一般公開されて以降、高機能なUIや特定の画風に特化したモデルなどが有志によって続々と開発されています。新たに、1枚のイラストを追加学習するだけで、イラストの画風を模倣して高品質かつ多様な構図の画像を生成できる手法「「Advanced Prompt Tuning(APT)」が開発されました。

GitHub - 7eu7d7/DreamArtist-stable-diffusion: stable diffusion webui with advance prompt tuning
https://github.com/7eu7d7/DreamArtist-stable-diffusion

propose an advanced Prompt Tuning method (APT), can super dramatically improve the image quality and diversity by 7eu7d7 · Pull Request #2945 · AUTOMATIC1111/stable-diffusion-webui · GitHub
https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/2945

APTを開発したのは、7eu7d7氏です。7eu7d7氏が公開している例はこんな感じ。まず、以下の1枚の画像を学習元とします。

従来のStable Diffusionに上記の画像を学習させて生成した画像が以下。複数の画像を生成しても似た構図の画像しか生成できず、中にはイラストとして破綻してしまっている画像も含まれています。

そして、APTを用いて生成した画像が以下。従来のStable Diffusionで生成した画像と比べて圧倒的に高品質で、構図やポーズもバラバラになっていることが分かります。

さらに、詳細なプロンプトを追加して生成した画像が以下。手や足が自然な形状で描かれており、AIが生成したとは気付けないほどのクオリティに仕上がっています。

7eu7d7氏はAPTをオープンソースで開発しており、記事作成時点ではAPTをStable Diffusionの高機能UI「Stable Diffusion web UI(AUTOMATIC1111版)」の拡張機能として使えるようにするための開発が進んでいます。

なお、7eu7d7氏はAIを用いてpixivの画像を収集するアプリなども開発しています。

GitHub - 7eu7d7/pixiv_AI_crawler: 基于深度学习的p站高质量涩图AI爬虫，可以学会你的XP
https://github.com/7eu7d7/pixiv_AI_crawler