8×8ピクセルに縮小した画像から元の画像を予想する技術をGoogle Brainが開発

ディープラーニングについて研究するGoogle Brainが、高解像度画像を8×8(64)ピクセルに変換した画像から元の画像を推測する技術「Pixel Recursive Super Resolution」を発表しました。

Pixel Recursive Super Resolution
(PDFファイル)https://arxiv.org/pdf/1702.00783.pdf

Google Brain super-resolution image tech makes “zoom, enhance!” real | Ars Technica
https://arstechnica.com/information-technology/2017/02/google-brain-super-resolution-zoom-enhance/

下の画像の右端が元の「ソース画像」で、これを8×8ピクセルサイズに圧縮したのが左端の「8×8サンプル」です。この8×8サンプルからGoogle Brainのディープラーニング技術が予想した元画像が中央の列の「32×32サンプル」。8×8サンプルから16倍の解像度にアップスケールされた予想画像は、8×8サンプルの少ない情報からソース画像に近い画像を再現できているのがわかります。

Google Brainは2つのニューラルネットワークトレーニングを用いて画像予測を行っています。一つは似たような高解像度イメージを圧縮したデータと8×8サンプルを比較してパターンと色をチェックする「conditioning network」で、もう一つがPixelCNNを使って高解像の詳細部分を追加する「prior network」。この2つのニューラルネットワークを組み合わせることで予測画像を作成しているとのこと。

左端が8×8サンプルで、残りの4つがニューラルネットワークから作り出された4種類の予測画像。人物画だけでなく寝室のイメージを再現することもできます。

もちろんPixel Recursive Super Resolutionは完璧に元画像を再現できるわけではありませんが、Pixel Recursive Super Resolutionの技術を高めていくことで、映画の世界でよくある「もっと画像をアップ(ズーム)にしてみて！」というシーンが現実のものになるかもしれません。

Let's Enhance (HD) - YouTube