ガビガビの低解像度写真を高解像度な写真に変換できる「EnhanceNet-PAT」が登場

映画などのフィクションの世界のように、低解像度の写真を高解像度のものに変換するのが難しいことは、画像の編集や加工を行ったことがある人ならば誰でも知っていることです。しかし、ドイツの研究機関であるMax Planck Institute for Intelligent Systemsに所属するコンピューターサイエンティストたちが、低解像度の写真を高精細なものに変換するアルゴリズムを開発しており、その出来栄えは驚くべきものとなっています。

[1612.07919] EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis
https://arxiv.org/abs/1612.07919

AI method to upscale low-resolution images to high-resolution
https://techxplore.com/news/2017-10-small-pixel-perfect-large.html

New algorithm helps turn low-resolution images into detailed photos, ‘CSI’-style
https://www.digitaltrends.com/cool-tech/algorithm-low-res-high-res/

Max Planck Institute for Intelligent Systemsが開発したというアルゴリズムは「EnhanceNet-PAT」と呼ばれるもので、人工知能(AI)を使って低解像度画像から高解像度版の画像を作成するというものです。EnhanceNet-PATの開発者のひとりであるMehdi MS Sajjadi氏によれば、これまでも低解像度画像から高解像度版の画像を作成するための研究は行われてきたそうです。

Sajjadi氏によると、これまでの超解像技術とは異なるアプローチを取ることで低解像度画像から高解像度版の画像を作成することに成功したとのことで、「超解像技術に関する課題はこれまで何年も研究されてきました。この研究の前は、最先端の超解像技術でさえ、画像の中にぼやけた部分やざらざらした部分を持っていました。その理由は、『高精細な画像になるようにオリジナル写真を再構成させる』などのニューラルネットワークでは実現不可能なことを、ニューラルネットワークに要求していたからです。そのため、超解像技術で作成された画像は、一部がぼやけていたそうです。そこで、我々はニューラルネットワークにより高精細なテクスチャーを作成してもらう、という異なるアプローチを取りました。この手法ではニューラルネットワークが画像全体を見て、領域を検出し、意味情報を使ってより高精細なテクスチャーを作成し、高解像度の画像を作成します」と語っています。

EnhanceNet-PATを使い、低解像度画像(左)から高解像度画像(真ん中)を作成。右端の画像は元の高解像度写真で、EnhanceNet-PATが作成した写真がいかに元の画像に近いものに仕上がっているかがわかります。

開発チームはEnhanceNet-PATのアルゴリズムを訓練するために、ニューラルネットワークに巨大なデータセットを与え、さまざまなテクスチャーの知識を構築させたそうです。ニューラルネットワークは画像のダウンサンプリングバージョンを見るだけという単純なもので、ここから低解像度の画像をどうやって高解像度のものにするかを導き出すわけ。ネットワークが画像を作成すると、研究者たちは元の高解像度写真と比較し、アルゴリズムを微調整することでより精細な画像に変換できるようにEnhanceNet-PATを調整していったとのこと。

古い映画の高解像度化や古い写真の修復、写真を引き延ばす際に高精細にするなど、EnhanceNet-PATにはさまざまな用途が考えられます。また、EnhanceNet-PATアルゴリズムの超解像技術を他のニューラルネットワークに使うと、画像内の物体検出の精度を向上させることができることが明らかになっています。例えば、Googleの自動運転車などに使用されているニューラルネットワークに応用すれば、歩行者の検知がより正確に行えるようになるそうです。