簡単なお絵かきとキーワードだけで思い通りの写真やイラストを自動生成する「img2img」モードを「Stable Diffusion」で誰でも試してみることができるサイト

キーワードに沿って人間が描いたような画像を生み出す「Stable Diffusion」というAIが一般公開され、ありとあらゆる高クオリティな画像が大量に生成されています。Stable Diffusionには文字列から画像を生成する「txt2img(text to image)」のほかに、文字だけではなく画像からも新たな画像を生成可能なimg2img(Image to Image)があります。このStable Diffusionのimg2imgを無料で試せるデモページ「Diffuse The Rest」が公開されたので、実際に試してみました。

Diffuse The Rest - a Hugging Face Space by huggingface
https://huggingface.co/spaces/huggingface/diffuse-the-rest

以下がDiffuse The Restのページ。中央には絵を描くためのキャンバスがあります。

一番左の四角い黒をクリックすると色の変更、丸い黒をクリックすると太さの変更が可能。続くアイコンはペンへの切り替え、消しゴムへの切り替え、全消去が行えるボタンです。

まずはキャンバスに適当なイラストを描き、下部に絵に関連する文字を入力し、「diffuse the f rest」をクリックします。今回は豆腐をイメージした絵を描いて「tofu」と入力してみました。イメージ作成のために2分40秒ほど待機すると……

こんな感じの絵が生成されました。パッと見ただけでは明らかに豆腐ではありませんが、白い体に焼き目のような茶色があること、食器のようなものがあることなどから、「豆腐だ」と言われれば納得してしまいそう。

今度はリンゴの絵を描いて「Apple」と入力。

すると、なぜかAppleの企業ロゴが生成されてしまいました。

続いて単語を組み合わせた文章を入力してみました。以下のような絵を描いて、「a man with a gun(銃を持った男),the sun is rising(昇る太陽),standing on the desert(砂漠の上に立つ),skull lying on the ground(地面に横たわる頭蓋骨),airplane(飛行機),a vulture is flying(飛ぶハゲタカ)」と入力してみると……

こんな感じでSF映画のワンシーンのような絵が生成されました。太陽、砂漠、銃を持つ男、ハゲタカまできちんと生成されていますが、飛行機と頭蓋骨はどこかへ消えてしまった様子。

なお生成される画像は複数枚で、いくつか違ったパターンが楽しめます。

今度は「Astronauts in Space(宇宙にいる宇宙飛行士),The lush green earth is about to be attacked by extraterrestrials(緑豊かな地球が地球外生命体の襲撃を受けようとしている)」と入力。

すると、こんな感じにイラストを調整してくれました。

他に生成された画像はこんな感じ。

写真から新たな画像を生成できるとのことなのでこれも試してみます。まずはキャンバスにローカルストレージの画像をクリック＆ドラッグでアップロードします。

今回使用したのは「ピノ 香り華やぐミルクティー」の写真。「chocolate ice cream」と、ダメ元で「pino」と入力してみると……

さすがにピノの画像は生成されませんでしたが、似たような色合いのチョコレートアイスの画像を生成することに成功しました。

なお、Redditには以下のような画像を生成することに成功したという投稿もされています。この人は「A man with golden armor, and mask, rises from the sands, a shiny golden magical staff in one hand, Artstation, Cinematic, Golden Hour, Sunlight, detailed, elegant, ornate, desert, rocky mountains, a big shiny white sun in the background, Illustration, by Weta Digital, sandstorm, Painting, Saturated, Sun rays」と入力した様子です。