背景をStable Diffusionが自動生成する2Dアクションゲーム「Dimension Hopper」が登場、制作者が舞台裏を語る

画像生成AIのStable Diffusionにテーマや背景といった画像全般の制作を任せたゲーム「Dimension Hopper」が登場しました。制作者であるロボット工学者のベンジー・ホルソン氏が、いかにしてゲームの体裁を保つように仕上げたのかといった制作の舞台裏を語りました。

Dimension Hopper Part 1 - by Benjie Holson
https://generalrobots.substack.com/p/dimension-hopper-part-1

Dimension Hopperはウェブサイト上で無料で遊べるゲームです。以下のリンクにアクセスし、「Play Game!」をクリックするとゲームを始めることができます。

Dimension Hopper
https://dimensionhopper.com/

ゲームプレイ動画は以下から確認できます。Dimension Hopperは、2人のキャラクターをWASDまたは矢印キーで操作し、フィールドに現れる宝石を獲得してスコアを稼ぐ対戦型ゲームです。一定時間が経過するとフィールドがまるごと変化しますが、このフィールドはStable Diffusionが自動で生成したものだとのこと。

Stable Diffusionが背景を自動生成する2Dアクションゲーム「Dimension Hopper」レビュー - YouTube

Dimension Hopperの制作にあたり、まずホルソン氏はStable Diffusionに以下の画像を与え、この画像を元にプロンプトを入力して新しい画像を生成したとのこと。

生成した画像はこんな感じ。Stable Diffusionは、元の画像で白く塗られていたブロック(土台)を保ちつつ、背景にピクセルアートを生成しています。

ホルソン氏がプロンプトや設定を試行錯誤して調整した画像がこれ。神秘的な雰囲気が現れたピクセルアートが生成され、先ほどとは打って変わってイラスト色が強くなっています。

さらに調整して生成すると、土台に陰影を付けることができました。

背景と土台がマッチしていないように感じたホルソン氏は、「ピクセルアートで訓練されたモデルを使っているのが問題の一因だ」と考え、子供向けのイラストをベースにしたモデルに変えて再度生成を試してみたとのこと。そのときの画像がこんな感じ。とってつけたように土台が置かれていたこれまでの画像と違い、土台と背景がうまく融合しているように見えます。

ただし、土台が背景と同化してしまうこともあったそうです。これは、Stable Diffusionが土台をただの「輪郭」として認識しており、レイヤーの概念を認識していないのが原因だと考えられるとのこと。

そこで、ホルソン氏は土台に奥行きを持たせるよう編集を行います。

上記の編集を行うだけで、Stable Diffusionは簡単に土台を土台として浮かび上がらせるような画像を生成してくれました。

元となる画像によって生成される画像の品質が大きく変わることに気づいたホルソン氏は、元となる画像に「灰色」「濃い灰色」「黒」などの色分けを施します

「灰色は土台」「濃い灰色はゲームプレイには関係ないただの背景」などのヒントを与えることで、より奥行きのある高品質な画像を生成することに成功しました。