簡単な線を引くだけで自動で画像を生成してしまう「iGAN」がスゴイ

「iGAN(Interactive Image Generation via Generative Adversarial Networks)」はインタラクティブな画像生成インターフェースです。至極簡単な動作で本物の写真と見まがうようなレベルの画像を自動生成してくれ、「どのように線を引くか」や「どのような色の線を引くか」で生成される画像も変化するという驚くべきものになっています。

GitHub - junyanz/iGAN: iGAN: Interactive Image Generation via Generative Adversarial Networks
https://github.com/junyanz/iGAN

iGANでどんなことができるのかを端的に現わしたのが以下の図。

これだけだとイマイチイメージしづらいところですが、実際に画像を自動生成していく様子を収めたムービーが公開されています。ムービーの2分24秒から始まる「Interactive Image Generation」パートが、iGANで行えることを収めたもの。

Generative Visual Manipulation on the Natural Image Manifold - YouTube


画面左側のボックスが入力兼画像生成ボックス。

右側が複数の選択肢が表示されるボックスです。

まずはカラーを選び……

画面左に線を引きます。

すーっと右方向に線を引くと、徐々に草原っぽい画像が生成されていきます。

たった1本の緑色の線を引いただけで草原風の画像が生成されたわけですが、画面右のボックスから好みの生成イメージ候補を選択することも可能。

さらに、画面下部の「Sketching」をクリックして……

再び画面上に線を引きます。

草原の上に山を描くように線を引くと、自動生成された画像に山が出現しました。

加えて、空部分に青色の線を引いたり……

山頂部分に白色の線を引いたりすることで、自動生成される画像をある程度自由に変形させたり色味を変更したりすることができます。

iGANの画像生成はDCGANやGANといったディープラーニング関連の技術がベースとなっています。なお、iGANはインタラクティブなビジュアルデバッグツールの理解や、ディープラーニングを用いたデータ生成の視覚化に役立つとのことです。