Googleが低解像度画像を爆速で高画質化する機械学習を使った技術「RAISR」を発表

毎日ウェブ上では無数の写真がシェアされていますが、アップロードされる写真の解像度は撮影機材によってさまざまで、低解像度の画像は時に引き延ばされてジャギーまみれになることがあります。据え置き機・モバイル機ともに高解像度ディスプレイの普及が進む中で、「見やすい低解像度画像」が必要とされつつあるのですが、機械学習を用いた新技術「RAISR(Rapid and Accurate Image Super-Resolution)」によって、リアルタイムで「低解像度画像の高品質バージョン」を生成できるようになります。

Research Blog: Enhance! RAISR Sharp Images with Machine Learning
https://research.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html

[1606.01299] RAISR: Rapid and Accurate Image Super Resolution
https://arxiv.org/abs/1606.01299

Google Researchが発表した「RAISR」は機械学習によって、従来の超解像技術より10倍～100倍速く「低解像度映像の高品質バージョン」を生成する新技術で、一般的なモバイルデバイスならリアルタイムで実行可能です。

RAISRのフィルターは2つの方法によって訓練が行われています。1つ目は「同じ写真の低解像度版と高解像度版」のセットが使用され、2つ目は低解像度画像を高画質化する従来の手法である「アップサンプリング」された画像から学習するという方法です。以下がオリジナルの低解像度画像と従来の技術でアップサンプリングされた画像を並べたもので、アップサンプリング画像はピクセルが多くなって見やすくなっているものの、輪郭がぼやけているのがわかります。RAISRは「同じ写真のアップサンプリング版と高解像度版」のセットを学習に使用することで、従来の技術より素早く美しい「低解像度映像の高品質バージョン」を生成できるわけです。

以下の3枚の写真は左から低解像度のオリジナル写真・アップサンプリングで補正された写真・ RAISRで出力された写真が並んでおり、RAISR版はアップサンプリング版よりシャープに仕上がっているのがわかります。

Google Researchはほかにも複数の比較サンプルを公開しています。以下は上がオリジナル、下がRAISRとなっており、RAISRの処理で老人の眉毛やしわがはっきり写っています。

こっちは左がオリジナル、右がRAISRで、馬の銅像の輪郭と背景との境目などが明瞭になっているのがわかります。

この技術がさらに進歩すれば、タッチスクリーン端末の「ピンチアウト」の性能を向上させることや、モバイル端末やクラウドに保存している画像を、低解像度のまま見やすい状態でキャプチャ・保存・送信できるようになるとのことです。