現実の写真をアニメ特有の表現要素に分解してアニメっぽく再構成する「White-box-Cartoonization」

近年では、現実の風景を撮影した写真やムービーを漫画やアニメーションらしい画像に加工するアプリが複数登場しており、多くの人が写真を加工してSNSなどに投稿しています。そんな中、アニメーション特有の表現要素に着目して写真をアニメ調に変換する「White-box-Cartoonization」という新たな手法についての論文が、GitHub上で公開されています。

GitHub - SystemErrorWang/White-box-Cartoonization: Official tensorflow implementation for CVPR2020 paper “Learning to Cartoonize Using White-box Cartoon Representations”
https://github.com/SystemErrorWang/White-box-Cartoonization

White-box-Cartoonization/06791.pdf at master · SystemErrorWang/White-box-Cartoonization · GitHub
(PDFファイル)https://github.com/SystemErrorWang/White-box-Cartoonization/blob/master/paper/06791.pdf

アニメでは架空の世界をゼロから作り出すだけでなく、現実世界の写真やムービーを基にして、アニメーションとして扱いやすい背景などを描く手法も取り入れられています。いくつかのアプリは写真を漫画やアニメらしい画像に加工することができますが、依然としてさまざまな問題が残っていると、ショートムービー共有アプリのTikTokを運営するByteDanceや東京大学の研究者らは論文中で指摘。

実際にアニメーションの観察を行った研究チームは、「surface(表面)」「structure(構造)」「texture(質感)」という3つの要素が、アニメーションの表現を成り立たせていると指摘。研究チームはインプットした画像を、この3つのアニメーション特有の要素に分解して加工し、それらを組み合わせることで従来の手法よりも優れたアニメ調の画像を生成できると主張しています。

「surface」は画像から大まかな表面部分を抜き出して全体像を平滑化したものであり、絵の下描きのようなイメージだそうです。「structure」は画像を大きめで色合いが均一なポリゴンで表し、物体領域を認識して結合したもので、セル画の明確な輪郭と均一な色合いを模倣した考えだとのこと。「texture」は色や輝度を無視したディテールや輪郭に関する要素であり、アーティストが色を乗せる前に描く輪郭線に着想を得たものだと研究チームは説明しています。

以上の考えを踏まえ、研究チームはGoogleが開発した機械学習向けのライブラリであるTensorflowを用いた敵対的生成ネットワークを基にして、現実世界の写真をアニメ調に変換するシステムを構築しました。

研究チームが機械学習に用いたデータセットには、宮崎駿氏、細田守氏、新海誠氏らのアニメーション映画作品における風景シーンに加え、京都アニメーションやP.A.WORKSの作品におけるキャラクターの顔画像などが含まれているとのこと。

実際に研究チームが構築したシステムで、男性の顔写真をアニメ調に変換したものがこれ。左側の画像が現実の写真、右側の画像が変換後のものです。

女性だとこんな感じ。

さまざまな建造物や･･･

町中の風景もしっかりとアニメ調に変換されていました。

また、研究チームは「実際にアニメーションの中で描かれた風景と、同じ場所で撮影した現実の写真を『White-box-Cartoonization』でアニメ化した画像の比較」も公開しています。左側がアニメーションで描かれた画像、右側が現実の写真をアニメ調に変換した画像となっています。