ついに「CLIP STUDIO PAINT(クリスタ)」で画像生成AI「Stable Diffusion」を動かすプラグインが登場

マンガやイラストをデジタル上で作画する際に使用されるお絵描きソフトウェアの「CLIP STUDIO PAINT(クリスタ)」上で、テキストから画像を自動で生成してしまうAI「Stable Diffusion」を動かすことが可能なプラグイン「NekoDraw」が登場しました。NekoDrawはGitHub上で公開されており、テキストから画像を生成する「text2img」と、画像からより高精細な画像を生成する「img2img」の両方に対応しています。

GitHub - mika-f/nekodraw: NekoDraw: CLIP STUDIO PAINT plugin for executing Stable Diffusion txt2img and img2img processor.
https://github.com/mika-f/nekodraw

「Stable Diffusion」は、Creative ML OpenRAIL-Mライセンスの下でリリースされており、商用での利用も許可されている画像生成AIです。入力したテキストに沿った画像を生成する「text2img」と、簡単な線画などの画像からより精細な画像を出力する「img2img」の2通りで画像を出力することが可能。ただし、ローカル環境でStable Diffusionを利用できるようにするにはPythonやAnacondaなどを扱える技術や知識が求められていたり、NVIDIA製GPUを搭載した端末が必要だったりと、実装のハードルは若干高め。そのため、誰でも手軽にStable Diffusionをインストールできるようにするソフトウェアが多数登場しています。

画像生成AI「Stable Diffusion」をWindows環境にボタン1つでインストール可能＆GUIで操作できる「NMKD Stable Diffusion GUI」がついに登場 - GIGAZINE

無料で画像生成AI「Stable Diffusion」をWindowsに簡単インストールできる「NMKD Stable Diffusion GUI」の使い方まとめ、呪文の設定や画像生成のコツがすぐわかる - GIGAZINE

無料で画像生成AI「Stable Diffusion」をWindowsに初心者でも簡単にインストールして使える＆img2imgにも対応した「Artroom Stable Diffusion」使い方まとめ - GIGAZINE

そんなStable Diffusionを、クリスタで使えるようになるプラグインの「NekoDraw」が登場しました。なお、NekoDrawではローカル環境でStable Diffusionを実行するため、12GBを超えるメモリ(RAM)と、GeForce RTX 3060以降の8GB以上のVRAMを搭載したGPUが必要です。

実際にクリスタのプラグインでStable Diffusionのtext2imgを実行している様子は以下の動画で確認できます。

使い方は簡単で、「フィルター」→「Stable Diffusion」→「Stable Diffusion プロンプト」の順にクリック

全体フォーマットには「Kawaii, Cute, Illustration」(カワイイ、キュート、イラスト)、主題には「Lumine」、主題(補足)には「in Genshin Impact」(原神)、作者・スタイルには「Hoyoverse」(原神の開発元であるmiHoYo関連作品HoYoverse)、フレーバーには「pixiv」と入力されています。

約1分でこのような画像が出力されるとのことです。

・2022/09/06 11:00 追記
NekoDrawでimg2imgでの画像出力を行っている様子が以下。ラフな線画からより精細なイラストを生成することに成功しています。