雑な手描きスケッチからリアルな顔写真を正確かつリアルタイムで作り出す「DeepFaceDrawing」

人工知能(AI)の発達により、存在しない架空の人物を写真でリアルに作り出すことが容易になってきています。新たに中国の研究者らは、ラフな手描きスケッチをリアルタイムで特徴をしっかりとらえた顔写真に変換する技術を開発しました。手描きスケッチがみるみるうちにリアルな顔に変わっていく、衝撃のムービーが公開されています。

DeepFaceDrawing: Deep Generation of Face Images ... - arXiv
(PDFファイル)https://arxiv.org/pdf/2006.01047.pdf

DeepFaceDrawing Generates Photorealistic Portraits from Freehand Sketches - Synced
https://syncedreview.com/2020/06/04/deepfacedrawing-generates-photorealistic-portraits-from-freehand-sketches/

DeepFaceDrawingでどのようなことが可能なのかは以下のムービーから確認可能。ムービーは5～10倍速で録画されています。

DeepFaceDrawing: Deep Generation of Face Images from Sketches - YouTube

画面上に左右2つのキャンバスが現れました。左のキャンバスにはいくつもの線が引かれ、ぼんやりと人の形が見えています。

左のキャンバス上の輪郭をなぞると、右のキャンバスが女性の写真に変化しました。

やや肉厚な唇を描くと、写真の女性が持つ唇も肉感的なものに変化。

左のキャンバスに線を引くごとに写真の輪郭もどんどんくっきりしていきます。

目を描くと、写真の女性がアイラインを引いたような姿に。

鼻を描くと、写真の鼻も陰影がついたシャープな形に。

髪型も数回線を引くだけで大きく変化していきます。

なぜか髪の色までも変化。

イラストでおおまかな人物像が決まったら、画面右上のスライドを動かして、目・鼻・口といった要素を調整していきます。

さらに別の女性も描いてみます。

右眉毛だけ書くと、写真の右まゆげもくっきり。

今度は目・鼻、と上から顔がはっきりしていき……

最後に唇を描くことで口の印象も変わりました。

ふんわりとボリュームのある髪

……を、ばっさり切ることも可能です。

女性だけでなく、男性バージョンもあります。

輪郭を仕上げるとこんな感じ。

くっきりとした眉毛と鼻を描くと、全体的な写真の顔の印象も変化しました。

唇まで描くとこんな感じ。

髪の毛を増やし……

少し輪郭を修正。

より幅の広い顔に仕上がりました。

さらにどんどん描いていきます。以下8人分のイラストが……

こんな感じで顔写真になりました。イラストはさまざまな画風で描かれていましたが、完成した写真はどれも元イラストの特徴をつかんで再現していることがわかります。

女性のイラストもあります。以下8枚の女性のイラストが……

特徴を捉えた顔写真に変化しました。

「DeepFaceDrawing」は中国科学院と香港城市大学の研究者チームが開発したもの。多くの場合、ディープラーニングで手描きイラストを写真に変換する技術は入力したイラストを固定したものとして扱いますが、新しいアプローチは訓練によって手描きスケッチから「それらしい顔」の配置を学んでおり、入力したスケッチから「おおよその配置」を見つけます。この場合、入力情報としての手描きスケッチは「固定的」ではなくより柔軟に扱われるとのこと。この手法により、不正確あるいはラフなスケッチからもリアルな顔を作り出せるそうです。

このシステムは「部品埋め込み」「特徴マッピング」「画像合成」という3つのモジュールから構成されており、部品埋め込みモジュールは自動エンコードアーキテクチャーと、それぞれ学習を行う5つの特徴記述子を持っています。この特徴記述子が左目・右目・鼻・口・スケッチのリマインダーに分かれていることから、ムービーにあったように、5つのスライダーで調整が可能になるわけです。

研究者によると、定性的・定量的な2つの評価を行ったところ、その両方の評価が高い視覚効果を生み出していることが示されたとのこと。実際に研究者以外にもシステムを使ってもらったところ、ユーザービリティや表現力で好ましい結果が得られたとのことです。