AIを用いてアニメキャラクターの高解像度画像を生成しアニメーションまでつける「PSGAN」をDeNAが発表

DeNAが、人工知能(AI)を用いることで鮮明なアニメキャラクターの画像生成が可能な技術および、作成したキャラクターに動きをつけることが可能な動画生成技術を開発しました。

AIで全身のアニメキャラを無限に作る技術を開発 | 株式会社ディー・エヌ・エー【DeNA】
http://dena.com/jp/article/2018/05/11/003622/index.html

Full-body high-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks | DeNA Co., Ltd.
https://dena.com/intl/anime-generation/

Generative Adversarial Network(GAN)の進歩により、AIを用いて顔や手など一部のパーツの高解像度画像を生成することが可能となりましたが、既存の方法では産業用アプリケーションにとって重要な「キャラクターの全身」などを生成することはできませんでした。もちろんポーズや顔に基づいて画像を生成可能なGANも提案されているのですがが、それらでは商業用に利用するには画質が不十分であるという問題点があったそうです。こういった制約を解消し、AIを用いてポーズ情報を基にアニメキャラクターの全身の高解像度画像を生成し、さらに動きをつけることまでできるという新しいフレームワーク「PSGAN(Progressive Structure-Conditional Generative Adversarial Networks)」をDeNAが提案しています。

PSGANによる高解像度画像(512×512ピクセル)および動画生成の行程は以下の通り。

まずはPSGANを使って潜在変数から多くのアニメキャラクター(キャラクター1)が生成されます。次に生成されたアニメキャラクターに対応する潜在値をPSGANで補間することで、新しいアニメキャラクター(キャラクター2)を生成。これによりさまざまな見た目のキャラクターの全身画像を生成することが可能となります。

実際にPSGANがさまざまなアニメキャラクターを生成する様子は以下のムービーで見ることができます。

Full-body anime generation at 512x512 with Progressive Structure-conditional GANs - YouTube

この時点ではアニメキャラクターの全身高解像度画像が生成されるだけで、ポーズは単一のものしかありません。ここで潜在変数を修正し、連続ポーズシーケンスをPSGANに与えることで、生成したアニメキャラクターのアニメーションが生成可能となるそうです。具体的には、指定したアニメキャラクターの表現をPSGANの入力ベクトルとなる潜在空間の潜在変数にマッピングする、とのこと。

実際に単一のポーズしか持っていないアニメキャラクターの全身画像に、PSGANでアニメーションをつけるとどうなるのかは以下のムービーを見ればわかります。

Adding action to full-body anime characters with Progressive Structure-conditional GANs - YouTube