2019年03月19日 12時43分動画

落書きをリアルな風景写真にリアルタイムで変換できる驚異的なお絵かき技術「GauGAN」をNVIDIAが発表

Microsoftペイントとマウスを使って描いたようなラフなイラストが、一瞬でリアルな風景写真に変換される画期的な技術をNVIDIA Researchが開発しました。「GauGAN」と呼ばれるインタラクティブなソフトウェアは膨大な学習データを用いたディープラーニングを使ったもの。GauGANを使えば「オブジェクトの形を描くだけ」「線を引くだけ」で誰でもアイデアを形にすることができます。

GauGAN Turns Doodles into Stunning, Realistic Landscapes | NVIDIA Blog
https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/

GauGANがどのくらいすごいのかは、以下のムービーを見ると一発でわかります。

Changing Sketches into Photorealistic Masterpieces - YouTube

ムービーに登場したのはデベロッパーテクノロジーエンジニアのChris Hebert氏と主任科学研究員のMing-Yu Liuさん。

2人が見ているのは以下のような画面。スクリーンの左側にはMicrosoftペイントで描いたようなベタ塗りのイラスト、右側には風景写真のようなリアルな画像が示されています。

画面の下には「sky(空)」「tree(木)」「cloud(雲)」「mountain(山)」といったボタンが計20個並んでいます。そのうち「rock(岩)」というボタンをクリック。

そして「mountain」で塗られていた緑の部分をクリックすると、画面左のイラストは茶色のベタ塗りに。しかし右側の風景は山が広がる写真から、岩肌の写真にガラリと変化しました。

さらに水色の「water(水)」で1本の線を引いていくと……

岩から滝が流れ出る写真に。

「NVIDIAの技術は驚くほどに高性能なスマートペイントブラシを作成することを可能にしました」と語るのは、NVIDIAの深層学習研究の応用部門を統括するBryan Catanzaroさん。この技術があれば、「オブジェクトの形を描くだけ」でニューラルネットワークがその形を埋める細部を描いてくれ、誰でも自分のアイデアをリアルな写真にすることができるとのこと。

水の上に線を引いて岩を描くと……

あっという間に巨大岩が完成。水面の揺れや反射といった周囲の要素も自動的に調整されていきます。

草原の風景画。

空を「sky」から「cloud」に塗り直すと、青空が曇り空に変化。それに合わせて地面の色や様子も変化しました。

「mountain」で線を描き……

まずはアウトラインだけ。この時点では特に水面の変化はありません。

しかし、山を塗りつぶした瞬間に、湖に山が写りました。これは「水は反射するもの」ということをニューラルネットワークが学習しているため。

草原の写真は……

地面の素材を「snow」に変えた瞬間に空の様子が変化。これも「雪が降った時、空の様子も変化する」ということが学習済みであるためです。

この技術は建築家やデザイナー、自動運転車など仮想世界を使ったロボットを開発する人々にとって非常に役立つとCatanzaroさんは述べています。

描き手は位置や形を指定するだけでよく、色、質感、影などは、膨大な現実世界の画像データから学習したニューラルネットワークが全て行ってくれます。合成できる画像の多様さと忠実さは、これまでにはなかった突出したレベルです。

なお、NVIDIAは「AI Playground」というサービスも公開中。AI Playgroundは2018年に発表された「Image InPainting」「Artistic Style Transfer」「Photorealistic Image Synthesis」という3つの技術を含みます。

Slide into the Latest Deep Learning Research in the NVIDIA AI Playground | The Official NVIDIA Blog
https://blogs.nvidia.com/blog/2019/03/18/nvidia-ai-playground/

Image InPaintingは以下のような感じで不要なコンテンツを編集し、コンピューターで生成した現実的なコンテンツと置き換える技術。