低解像度画像からでも高解像度画像を生成できる「PixelNN」

とてもオリジナルがどんなものだったかわからないような低解像度の画像・写真を、画素補間法の1つ・ニアレストネイバー法とニューラルネットワークの活用で、高解像度で「再現」する「PixelNN」という技術を、カーネギーメロン大学のAayush Bansal氏ら3人が開発しました。

PixelNN
http://www.cs.cmu.edu/~aayushb/pixelNN/

PixelNN: Example-based Image Synthesis
(PDFファイル)https://arxiv.org/pdf/1708.05349.pdf

サイト、およびPDFでは、実際にこの技術で生成できる画像がどんなものかが示されており、その凄まじさがわかります。

たとえばこれは低解像度の写真(左)をもとに生成した高解像度写真(右)。

こちらは法線マッピングをもとに犬の姿を生成しています。

輪郭抽出から生成された猫。

複数の出力例。一番上の女性の例だと、まるで異なる4人の女性がいるかのようです。

左端が法線マッピング、左から2つ目が中間生成物、左から3つ目が出力例。右端はオリジナルとなった写真なので、右2つを見比べるとどれぐらい「再現」できているかがわかります。

Aayush Bansal氏らは、高速フーリエ変換を用いた周波数分析により、イメージ内の周波数の内容を把握することによって、よりオリジナルに近い形への再現を実現しているとのこと。以下はそれぞれ「入力」「中間生成物」「出力」「オリジナル」の4つの画像の周波数スペクトルを示したもの。

適当に描いた図形が「ネコ」へ自動変換される「edges2cats」や手描きの線画が妙にリアルで恐ろしげなイラストに変換される「The fotogenerator」という先行技術がありますが、このあたりが組み合わさると、ある程度の「元になる絵」が描ければ、あとは技術がなんとかしてくれるという時代が来るかも。進歩の早さから考えると、そう遠くない未来のような気もします。