Googleエンジニアによる「スマホカメラの可能性」を見せつける低照度フォトレビュー

スマートフォンのカメラ性能は年々向上していますが、センサーやレンズの小ささから、低照度撮影などではデジタルカメラには及ばないのが現状です。しかし、Googleのエンジニアが、ソフトウェア処理を駆使することで、GoogleのPixelとNexus 6Pを使って夜景をどれだけキレイに撮影できるか挑戦し、スマートフォンカメラとは信じがたい写真を撮るのに成功しブログで公開しています。

Research Blog: Experimental Nighttime Photography with Nexus and Pixel
https://research.googleblog.com/2017/04/experimental-nighttime-photography-with.html

GoogleリサーチでVRソフトDaydreamのソフトウェアを開発するフロリアン・カインズ氏が、公式ブログでスマートフォンカメラの限界に挑戦する試みを紹介しています。きっかけは、カインズ氏がキヤノン1DXで撮影したゴールデンゲートブリッジの写真を、同じくGoogleリサーチのカメラソフト開発Gcam部門で働く友人が見たこと。スマートフォンカメラでデジタル一眼レフカメラの画質にどれほど近づけられるかにチャレンジすることになったそうです。

GoogleのスマートフォンPixelシリーズやNexusシリーズには、画像処理機能として「HDR+モード」が搭載されています。HDR+モードでは、10回の短時間露光撮影を行い、得られた画像を平均化して1枚の画像にすることで、ブレやぼけを減らし光量も集めて画質を高めることができます。しかし、HDR+で集められる光量には限界があり、夜景のような低照度のシーンでは、納得できるレベルの画質には達していないとカインズ氏は考えています。

そこで、マーク・レボイ氏がICCV 2015 Extreme Imaging Workshopで発表した「SeeInTheDark」アプリから低照度撮影の技術をカインズ氏たちは学びました。SeeInTheDarkでは、カメラを動かないように固定した条件で、解像度を100万画素程度に落としてノイズを減らしつつ、光量を確保する仕組みだとのこと。カインズ氏らはGoogleのHDR+モードとSeeInTheDarkの技術を組み合わせた上で、シャッター速度が4分の1秒で32枚のバースト撮影をした画像を合成してDNGファイルとして記録し、生のDNGファイルをPhotoshopに落とし込んでグリッド状に表示されるノイズパターンを除去して画像を出力しました。

そうして得られた写真がコレ。撮影に使ったのはNexus 6Pです。「灯台の明かりは露出気味だが、残りの部分はざらつくことなく自然な色合い」とカインズ氏は評価しています。

比較のために、手持ち状態でHDR+を使った写真がコレ。小さな四角い枠内の部分は、先ほどの写真と同じレベルに明るさを調整したもので、ノイズだらけなのが確認できます。

灯台の写真の出来栄えに満足したカインズ氏は、星空を撮影したいと考えたとのこと。そして、2秒間の露出で得られた写真は以下の通り。2秒間とはいえ星はわずかに動いているため、思うような結果が出なかったそうです。

しかし、HDR+モードとSeeInTheDarkの技術を組み合わせて露出時間2秒間で32ショット分の写真を合成し平均化したものは以下の通り。

さらに星に焦点を当てて撮影するとこんな感じ。星の移動を見事にキャンセルした画像の出力に成功しています。ただし、星が静止するよう画像を合成するため、地面の草はぼやけてしまったとのこと。

草木までくっきりした写真と星がピタリと静止した写真を組み合わせてPhotoshopで「良いとこ取り」したのがこの画像。

前出の灯台、星空入りの草木の写真はすべて満月の夜に撮影したもので、比較的明るい環境だったとのこと。より暗い条件で撮影すればどうなるのだろうと考えたカインズ氏は、三日月に近い状態の日に撮影してみました。

三日月状態の日にPixelを使って、露出時間2秒で合計64ショットのバースト撮影で画像を合成した写真。

そして、月明かりのない新月の日にPixelで撮影した写真。遠くに見える明かりはサンフランシスコ湾周辺の町の光だとのこと。「月明かりの撮影よりも明るく見え、悪くない」とカインズ氏。

限界にチャレンジするべく、天の川を撮影した写真。「プリントアウトしたい、とまでは言えない画質だけれど、おそらく携帯電話で撮影された最高画質の天の川かもしれない」とカインズ氏は述べています。

そして、チャレンジのきっかけとなったゴールデンゲートブリッジをNexus 6Pで撮影したのがこの写真。

サンフランシスコ湾を満月が照らす光景はこんな感じ。900万画素から1000万画素であり、デジタル一眼レフカメラの写真と比べると解像度では劣るものの、それ以外の画質は驚くほど優秀だとカインズ氏は満足しています。

これらの写真はあくまで撮影後にデスクトップPCで後処理して完成したものであり、最終的な画質に到達するまでの作業は面倒なものです。しかし、適切なソフトウェアを開発すればスマートフォン単体で処理が完結するはずだとカインズ氏は考えており、三脚さえ使えばカインズ氏が得たものと同じレベルの画質を、近い将来のスマートフォンが映し出す可能性がありそうです。