ゲームキャラクターの3Dモデル作成などにAIを利用してゲームの開発時間やコストを削減する試み

近年はAI技術が飛躍的に進歩しており、イラストやマンガなどの製作にAIを用いる試みが進められているほか、より複雑なゲーム製作においてもAIを活用する可能性が模索されています。ゲーム業界で20年近く働いてきたJussi-Petteri Kemppainen氏が、「ゲームキャラクターの3Dモデル作成にAIを利用できるかどうか」を試してみた結果を報告しています。

AI assisted graphics: Character modeling – Trafficking
https://www.traffickinggame.com/ai-assisted-graphics/

ゲーム業界でキャラクターや背景のモデル作成を行ってきたKemppainen氏は、「楽しみのための小規模なプロトタイプ」として、背景が2Dでキャラクターが3Dとなっている「2.5Dゲーム」の3Dモデル作成に、AIが利用できるかどうかを試してみたとのこと。

Kemppainen氏は、「最良の方法は、AIでキャラクターのコンセプトを生成し、それを3Dモデル化することだろうと思われました」と語るように、まずは画像生成AIのMidjourneyやStable Diffusionにプロンプトを入力し、キャラクターの設定図を生成させることから始めました。実際にMidjourneyで生成した設定図のプロトタイプが以下。「最初の結果は非常に有望でした。白黒なのは私にとってよくありませんでしたが、モデルシートは通常このように白黒です」と、Kemppainen氏は述べています。なお、Kemppainen氏はAIに入力するプロンプトにおいて、特定のアーティストの名前を使用しなかったそうです。

いくつかの調整を行った結果、Kemppainen氏は3Dモデルのベースとして使用できるクオリティのモデルシートを生成することができました。実際にKemppainen氏が生成したモデルシートの例が以下の通り。

AIによって生成された同一キャラクターをさまざまな角度から見た画像は、遠近法やアングルの問題はあったものの、基本的に驚くほど優れた一貫性を保っていたとのこと。Kemppainen氏は、AIが生成した背面図にはやや問題が多かったため、側面図と正面図から3Dモデルに起こしていくことにしました。

しかし、キャラクターが完成してみると、さまざまなテクスチャー投影がメッシュ上で正しく一致しないことがわかったそうです。

そこでKemppainen氏は、テクスチャー投影ごとにモーフマップを作成し、正面・側面・背面の見た目がメッシュ上で可能な限り一致するように調整を行いました。

その後、作成した3Dメッシュを2次元に展開(UV展開)し、3Dモデルを作成したとのこと。

実際にKemppainen氏がAIを利用して作成した3Dモデルは以下の動画で確認できます。なお、今回はあくまで遠景のみで見ることを前提としており、キャラクターの細部にはこだわっていないそうです。

(1) AI assisted 3D modeling turnaround 01 - YouTube

キャラクターの3Dモデルが完成した後、2Dの背景もAIで生成しました。

そしてKemppainen氏は、fSpyというオープンソースツールを使用して画像を3D空間に変換し、キャラクターとの遠近が一致するように調整しました。そして素材をUnityにインポートし、キャラクターを歩かせる簡単な動画を作成しました。

実際にKemppainen氏が作成した動画が以下で、動いているキャラクターを遠景で見る限りでは、特に違和感などは感じられません。Kemppainen氏は、AIでの画像生成や3Dモデルの作成などを含めた作業時間は18時間ほどであり、キャラクター作成で2日間、背景作成で3日間の作業時間が短縮できたと推定しています。

AI game in engine screen capture - YouTube

Kemppainen氏は、「結果は決して完璧ではありません。キャラクターのクローズアップは理想的ではなく、背景もアートディレクションが難しく、かなりランダムになってしまうこともあります。しかし、AIの欠点を受け入れて回避すれば、AIを共同作業者として利用して完全なゲームを作ることは可能です。予算や時間の都合で作れなかったゲームが、AIを使えば作れるようになるのは間違いないでしょう！」と述べました。