機械学習によって暗い場所で撮影された真っ暗な写真を超鮮明に修正可能な技術が開発される

イリノイ大学アーバナ・シャンペーン校の研究者グループは、機械学習ベースでの強力な画像処理技術を発表しました。この技術では通常のカメラで低照度撮影された画像を、ノイズが少ない鮮明な画像に変換することが可能となっています。

SID
http://web.engr.illinois.edu/~cchen156/SID.html

See in the Dark: a machine learning technique for producing astoundingly sharp photos in very low light / Boing Boing
https://boingboing.net/2018/05/09/enhance-enhance.html

暗いところで写真を撮影する際はレンズの絞りを開けたり、カメラのシャッターを開く時間を長くしたり、フィルムやセンサーのISO感度を上げたりすることが必要になります。しかし、シャッタースピードを長くするとカメラぶれが写真に反映されてしまったり、センサーの感度を上げると写真の色合いが大きく変わったりするため、低照度での撮影は難しいものがあります。

撮影した真っ暗な写真を画像処理ソフトで修正することはできますが、大量のノイズが画像にのってしまい、使いものにならない写真になってしまうことがほとんど。

研究チームは、今までの画像処理技術では低照度で撮影した写真を鮮明な画像にすることは難しいと考え、機械学習ベースによる新しい画像処理技術を開発しました。以下の画像は低照度で撮影された公園遊具の写真です。

同じ写真を、研究チームが開発した新しい画像処理技術で修正したものが以下の画像。ノイズがなくなり、色もくっきりと鮮やかに表示されています。

iPhone 6Sで夜間に撮影した写真もかなりノイズが乗っていて、暗くて何が写っているのかがわかりにくいものになっていますが……

新しい技術で修正すると、花や葉の色・道路に落ちる影が分かる写真になっていて、元の写真に比べると明らかに鮮明になっています。

続いて本棚とマネキン頭部を、ソニーの「α7S II」・「iPhone X」・「Google Pixel 2」で撮影して比較しています。机の上には8つのろうそくがあり、火をともす数を減らすことで照度を調整します。

ろうそく8つに火をともした約0.56ルクスの照度下での撮影だとこんな感じ。スマートフォン2種類の写真は暗めですが、何が写ってるのかは分かるレベルです。

ろうそく2つだけに火をともし、約0.21ルクスの照度だとこんな感じ。スマートフォン2種類の写真はかなり暗くなっていますが、35mmフルサイズセンサーを持つα7S IIだと光の当たっている部分についてはまだ修正が必要ない程度には明るく撮影できています。

ろうそく1つ、0.1ルクス未満の照度の場合、スマートフォン2種類の写真はかなり暗く、特にGoogle Pixel 2で撮影した右上の写真は何が写っているのか分からないレベルで真っ暗になっています。α7S IIはきれいに撮影できていますが、これは自動でシャッタースピードが1.6秒となっているため。実際に1.6秒のシャッタースピードで撮影した場合、三脚を使わなければ手ぶれが大きくのった写真になってしまいます。

そこで、スマートフォンのカメラはムービー撮影モードにし、α7S IIのシャッタースピードを1/30に固定したところ、どれも真っ暗でほとんど何も映っていない状態になってしまいました。

α7S IIで撮影した真っ暗な写真を新しい画像処理技術で処理したものが、以下の画像の右下の写真です。ほぼ真っ暗だった写真が、マネキンや後ろの本棚がしっかりと映るほど鮮明に修正されています。

研究チームが開発した新しい画像処理技術のデータセットとコードはGiftHubで公開されています。

GitHub - cchen156/Learning-to-See-in-the-Dark
https://github.com/cchen156/Learning-to-See-in-the-Dark