簡単な塗り分けだけでリアルな架空のモンスターを生成できてしまう「Chimera Painter」をGoogleが開発

Googleが体の部位ごとに異なる色の線でモンスターを描くだけで、リアルな質感の架空のモンスターを生成できる「Chimera Painter」を開発しました。

Google AI Blog: Using GANs to Create Fantastical Creatures
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

ゲームなどに登場する架空のモンスターを作成するには、高度な芸術的創造性とイメージを表現するためのスキルが必要となってきます。これらのスキルを持ったアーティストたちが締め切りに追われながら創造性あふれるモンスターを生み出すことで、ゲームの世界に登場するさまざまなモンスターが生まれ、その結果ゲーマーたちは架空の世界での激しい戦いを楽しめるようになります。

そんなアーティストの「モンスターを作り出す作業」を手助けするためのツールとして考案され、Googleが開発したのが「Chimera Painter」です。Chimera Painterは3Dモデルで作成された数十万種類のモンスター画像を用いてトレーニングされた、敵対的生成ネットワーク(GANs)を用いて生成された機械学習モデル。

Chimera Painterでは2つの畳み込みニューラルネットワークを相互にペアとしたGANsを利用しています。畳み込みニューラルネットワークはひとつが「新しい画像を生成するジェネレーターネットワーク」で、もうひとつが「生成画像がトレーニングデータセットからのサンプルであるかどうかを判断するディスクリミネーターネットワーク」です。

GANsを用いてクリーチャー生成ツールを作成する上で特に問題となったのが、画像の中のコントラストが低い部分などをいかに正確に出力するかだそうです。コントラストが低い部分を正確に出力できない事例が以下の画像。正しく出力できていない部分も人間の知覚にとっては非常に重要であるため、これを修正するための手法が求められました。

この問題を解決するために、Googleはアーティスト主導の半自動アプローチを採用しています。このアプローチでは、まず最初にアーティストに3Dモデルを用いてモンスターを作成してもらいます。この際、モンスターはライオンやハイエナなど、種類ごとに別々に生成してもらったそうです。次に、作成したモデルにUnreal Engineを用いてテクスチャを重ね、ひとつはリアルなフルカラー画像(左)、もうひとつは体の部位ごと異なるカラーを配したセグメンテーションマップ(右)として出力します。

この方法で「3DCGモデルから生成されたフルカラーのモンスター画像」と「セグメンテーションマップ」のセットを数十万種類用意することに成功。フルカラー画像とセグメンテーションマップがセットになったデータセットを用いて機械学習モデルをトレーニングすることで、モデルはモンスターの体の部位を正しく認識・出力できるようになります。

実際にChimera Painterは以下のページから誰でも利用することができます。モンスターの頭(赤)や口(青)、翼(ピンク)、しっぽ(アイボリー)などを色分けして描くだけで、リアルなテクスチャーのモンスター画像を自動生成することが可能。ただし、記事作成時点では動作が若干不安定なので注意が必要です。

Chimera Painter

以下の画像をクリックすると、簡単な線を追加するだけで、生成されるモンスターの見た目が大きく変化することがわかります。

以下は実際にChimera Painterで出力された架空のモンスターたち。スマートフォン向けのカードゲームなどで登場しても何らおかしくない見た目です。