アニメ画像から衣装部分だけを抽出して自動でコスプレ衣装画像を生成することが可能に

同志社大学とファッション専門のオンラインショッピングサイトであるZOZOTOWNの開発を担うZOZOテクノロジーズが共同で、アニメのキャラクター画像からコスプレ用の衣装画像を生成する研究を行っています。

[2008.11479] Anime-to-Real Clothing: Cosplay Costume Generation via Image-to-Image Translation
https://arxiv.org/abs/2008.11479

Anime-to-Real Clothing: Cosplay Costume Generation viaImage-to-Image Translation
(PDF)https://arxiv.org/pdf/2008.11479.pdf

研究論文の著者のひとりである後藤亮介さんは、自身のTwitterアカウント上で論文について「アニメキャラクターの画像からコスプレ衣装画像を生成するタスクを提案しています」と説明しています。

論文の概要には、「コスプレはファンによる集まりから生まれたもので、10億ドル(約1100億円)規模のグローバルドレス市場へと成長しました。この論文では、アニメーション画像から実際のコスプレ衣装を作成するためのイマジネーションを膨らますための、『アニメーション画像を衣装画像に変換するための自動衣装画像生成方法』を提案しています」と書かれています。

コスプレで再現するアニメや漫画のキャラクターの衣装は非常にバリエーション豊富なため、pix2pixのような従来の画像生成アルゴリズムではアニメ画像の衣装部分だけを画像に変換することは難しいそうです。この問題を解決するために、同研究ではウェブ上で画像を収集して「アニメ画像とコスプレ衣装画像のペア」を複数用意したデータセットを作成。

次に、高品質のコスプレ衣装画像の生成を容易にするために、敵対的生成ネットワーク(GANs)のための新しいアーキテクチャを作成しました。このGANでは2つのドメイン(アニメと現実)間のギャップを埋め、生成された画像の全体的な一貫性と局所的な一貫性を向上させるために、pix2pixをベースにいくつかの改良が加えられているとのこと。具体的にはpix2pixに真偽判別器・特徴照合損失・入力整合性損失といった新しい特徴を追加することで、ドメイン判別器を改良しています。

研究チームが作成したコスプレ衣装画像自動生成アルゴリズムを、pix2pixなどのその他の画像生成アルゴリズムと比較した結果を示したのが以下のグラフ。「FID」は生成画像のクオリティを評価する指標で、数値が低いほど優れた結果であることを表しており、「LPIPS」は生成画像の多様性を評価する指標で、数値が大きいほど多様性が大きいということを示しています。数値上では研究チームのコスプレ衣装画像自動生成アルゴリズムがずば抜けて生成画像のクオリティが高いということに。

以下は「アニメ画像(Input)」から各画像生成アルゴリズムがどのような衣装画像を生成したかをまとめたもの。「ours」が研究チームの作成したコスプレ衣装画像自動生成アルゴリズムが出力した画像で、他の画像生成アルゴリズムと比較すると明らかに高精度の画像を出力できていることが視覚的にわかります。