モザイク画像の解像度を64倍にして限りなく高品質の画像を生み出す技術が開発される

モザイクのかかった画像をモザイクのない画像に変える技術はこれまでも開発されてきましたが、新たに、人工知能アルゴリズムを使うことで、これまで以上に細部まで再現したリアルに近い画像をモザイク画像から作り出せる技術が開発されました。この技術を使うと16×16ピクセルの画像を数秒で1024×1024ピクセルに変換し、まるでHD解像度のように仕上げることが可能とのことです。

[2003.03808] PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
https://arxiv.org/abs/2003.03808

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
http://pulse.cs.duke.edu/

Artificial intelligence makes blurry faces look more than 60 times sharper
https://techxplore.com/news/2020-06-artificial-intelligence-blurry-sharper.html

モザイクがかった不明瞭な画像をはっきりとさせる技術はこれまでにも開発されていましたが、既存の技術が解像度を8倍にしていたのに対し、新たにデューク大学の研究者が開発した技術は、解像度を64倍にするものとなっています。

研究を行ったコンピューター科学者のCynthia Rudin氏とSachit Menon氏が開発したのは「PULSE」という新しい手法。これまでの手法は、コンピューターが過去に学習した高解像度画像を元に、低解像度の画像から必要なピクセルを推測し、高解像度の画像を作成するというものでした。この場合、学習した高解像度画像の「平均」が使われるため、髪や肌の質感が明確でなく、全体としてぼんやりとした仕上がりになっていたとのこと。

一方、新たに研究者が開発したのは、高解像度の画像からAIが作り出したサンプルを精査し、低解像度に縮小した時にできる限り似た顔を探すというもの。人工知能アルゴリズムの1つに敵対的生成ネットワーク(GAN)が存在しますが、PULSEはGANを使ったものとなっています。

PULSEは16×16ピクセルの画像を数秒で1024×1024ピクセルに変換し、元がモザイク画像だったとは思えないほど非常に高解像度の画像に仕上げることが可能。このため、毛穴やしわ、髪の1本1本まで描写できるようになっています。

以下は左から元となった低解像度画像、バイキュービック法による8倍画像、FSRNetによる8倍画像、FSRGANによる8倍画像、PULSEの8倍画像、PULSEの64倍画像。PULSEの8倍画像も他と比べて細部まで明確に描かれていますが、PULSEの64倍画像はさらに詳細です。

Rudin氏によると、PULSEは他のツールには行えないような「低品質の画像からリアルな写真を作り出す」ことが可能とのこと。詳細まで細かく描写した画像を生成できるという点は既存の技術との大きな違いですが、一方で生成された顔は「現実には存在しない、極めてリアルな画像」になるため、犯罪捜査などには利用できないそうです。

なお、研究者がPULSEによって生成された画像と、その他5つの手法で生成された1440枚の画像を40人に評価してもらったところ、PULSEが「現実の人間に近い、高品質の画像」として最も高く評価されたとのことです。