Google Pixel 2のスマホ史上最強カメラに詰まった技術の秘密を直接Googleの開発者たちに質問して紐解くすごいムービー公開中

技術系YouTuberのNat and Friendsが、発表されたばかりの「Google Pixel 2」に搭載されているDxOMarkスコア「98」の最強カメラがどのような技術のもとで開発されたのかを、Googleの開発者たちに直接聞いた様子をムービーで公開しています。

How Google Built the Pixel 2 Camera - YouTube

発表されたばかりの「Google Pixel 2」は、DxOMarkスコアで過去最高の「98」を記録している通り、史上最高のスマートフォンカメラを搭載しています。一体どのような技術がカメラの中に詰まっているのでしょうか。

まずはカメラの「ハードウェア」に焦点を当てます。

スマートフォンのカメラにおいて最も重要な挑戦が「サイズ」です。

スマートフォンの薄型化が進むにつれ、カメラのサイズも小型化していき、今ではブルーベリーひとつ分ほどのスペースにカメラが収納されるようになっています。

これがGoogle Pixel 2のカメラセンサー部分。

端末の外側からメインカメラを見ると、レンズがひとつだけ存在するように見えますが……

実際には6枚のレンズが重ねられています。

「Google Pixel 2のカメラは小さなスペースで『収差』と呼ばれるゆがみを補正するために、奇妙な形のレンズと二重の色合いを持っています」と語るのは、Googleのコンピューティショナル・フォトグラフィー・チームのリーダーであるマーク・レボイ氏。

さらに、Pixelカメラのプロダクトマネージャーを務めるアイザック・レイノルズ氏も解説してくれます。

カメラセンサーのレンズ部分を指で押すとグリグリ動かせるようになっており、中にはモーターが搭載されているそうです。

このモーターを駆使してレンズを微調整して遠近様々なものに焦点を合わせ……

カメラ自体を細かく左右に動かすことも可能。

続いて、カメラのセンサー部分について。

センサーを拡大していくと、細かなピクセルに分かれており……

このピクセルが光を電気信号に変換することで、デジタルデータの写真を作り出します。

カメラセンサーについて語ってくれるのは、SukHan Limさん。

「Google Pixel 2のカメラセンサーは12メガピクセルですが、ピクセルひとつずつが左右に分割されており、実際は倍のピクセル数が存在すると言える」とのこと。これがGoogleの言うところの「デュアルピクセルセンサー」というわけ。

続いて、「画像処理」について。

撮影した写真はそのままユーザーに見せられているわけではなく、さまざまな画像処理が施されています。センサーから直接撮影したデータをチェックすると、以下のような全体的に暗くて緑っぽいものになるそうです。もちろん画像処理はGoogle Pixel 2だけでなく、全てのデジタルカメラで行われているもの。Google Pixel 2の場合は30～40ほどの画像処理工程が存在するそうです。

Nat and Friendsにとって、画像処理における最初の工程は特に興味深いものだったそうです。カメラセンサーは物理的なカラーフィルターを持っています。これは赤と青と緑のチェック柄のようなもので、これらを用いてGoogle Pixel 2のカメラは全て色を表現します。

赤・青・緑のフィルターが存在し、緑のフィルターは赤と青の2倍あります。緑のフィルターが多いのは、人間の目が緑により敏感だから。

赤・青・緑のフィルターを、センサーが生成したデータに重ねていくことで、写真を実際の色味に近づけていくわけです。

この画像処理において1番最初に行われる工程は、「Demosaicing(デモザイク)」と呼ばれます。

その後、ノイズを除去したり全体をシャープにしたりとさまざまな画像処理が施され……

最終的に高精細な画像が生成されます。これらの処理はハードウェア側で行われているのですが、カメラが徐々にコンピューターに近づいてきたことで、ソフトウェア側でも多くの処理が行われるようになっています。

その、ソフトウェア側で行われている処理について。

Google Pixel 2において特徴的なのは、「HDR＋」と「ポートレートモード」の2つ。

暗所での撮影に強くなったGoogle Pixel 2は、「HDR＋」により、1枚の写真で明るい部分と暗い部分をキレイに表現できるようになっています。

これは、露出の異なる10枚の写真(暗過ぎたり明るすぎたり)を平均化してイメージを作成するから。

複数の写真から1枚の優れた写真を作るように、組み合わせていくわけ。

写真の中に邪魔な要素があれば、消すことも可能。

「とても暗い場所で写真を撮影しても、複数のキャプチャーを平均化することでとても良い写真にすることができる」とレボイ氏。

明るい中で撮影された写真においても同様に美しい写真が生成されるようになっています。

話は変わってここで注目したいのが、背景のぼけ具合。被写界深度が浅いと、ピントが合っている部分以外がぼけやすくなります。

そんなぼけ具合を簡単に再現できるのがGoogle Pixel 2のポートレートモード。

Google Pixel 2のポートレートモードについて語ってくれるのは、ポートレートモードチームのリーダーであるヤエル・プリッチ・ケイナーン氏。

通常のスマートフォンカメラはコンポーネントが小さいため、Google Pixel 2のポートレートモードのようなボケは生み出せないとのこと。それでは通常のスマートフォンカメラの写真がどうなるかというと、被写体以外の背景までシャープに写り込んでしまいます。Google Pixel 2のポートレートモードでは機械学習と深度マッピング技術を組み合わせることで、きれいなぼけを生み出しているそうです。

Google Pixel 2では写真を1ピクセルごとに被写体かそうでないかを判断できるようにするために……

ニューラルネットワークを用いて何百万枚もの写真から学習を繰り返したそうです。

これにより、最前面の被写体のみ判別可能となり……

それ以外を背景としてぼかすことができるようになります。

以下の写真でいえば……

人物部分にマスク処理を施せるようになり……

背景だけをぼかせるようになったというわけ。しかし、これではぼけ方が不自然になってしまうこともあります。

そこで注目したのが、Google Pixel 2の「デュアルピクセルセンサー」。

デュアルピクセルセンサーは、人間で例えるなら1つの目で2つの異なる世界を見られるようなもの。実際のカメラの場合、1つのレンズで2つの異なるイメージを撮影できます。

これを用いて、写真の奥行きを測定します。

これが生成した深度マップ。この深度マップをもとに背景のぼかし方を変更することで、より自然なぼけが演出できるわけです。

ポートレートモードは人物の撮影だけでなく、マクロレンズで撮影した際のように背景をぼかすことができるので、スマートフォンでの写真撮影がより楽しくなるはず。

ここで実際にGoogle Pixel 2のポートレートモードを使って自撮りしてみると……

こんな感じ。確かに背景がきれいにぼけています。

そして最後は「テストと調整」について。

Google Pixel 2の高性能なカメラは、多くのテストと調整により作り上げられたものと言っても過言ではありません。テストおよび調整には何千もの指標が用意されており、ひとつの要素を変更すれば、それに伴って複数の要素を調整する必要が出てくるそうです。

実際にGoogleがどのようなテストを行ったのかというと、オートフォーカス

ホワイトバランス

カラーバランス

解像度など、要素ごとに分けられたテストが用意されている模様。

Google Pixel 2カメラの調整を担当したアンドレアス・ボン・スナイダーン氏は、「テストおよび調整がなければひとつのデータセットを得るために何週間もかかることになるだろう」とコメント。

以下の台は手ぶれ補正機能のテストを行うためのもの。ゆったりとした揺れから激しい揺れまで再現可能です。

このおかげでGoogle Pixel 2の驚異的な光学手ぶれ補正が実現しています。画像ではわかりづらいですが、ムービーで見ると手ぶれ補正がオンとオフの状態では、ムービーのクオリティが段違いになっています。

手ぶれ補正には、ムービーの数フレーム分の映像とジャイロスコープが用いられます。ジャイロスコープの情報は、カメラがどのように動きながら映像を撮影したのかを知るために利用されるそうです。

このようにさまざまな技術が詰め込まれたGoogle Pixel 2のカメラですが、重さはなんと0.003ポンド(約1.36グラム)しかなく、ペーパークリップと同等の重さしかないというのは驚きです。

なお、Google Pixel 2のカメラで撮影した写真・ムービーのみを使い、色味の編集や加工など一切なしでまとめた「Google Pixel 2でどんな写真・ムービーが撮影できるのか」がわかるムービーも公開されており、Google Pixel 2のカメラがいかに優れたものに仕上がっているのかがよくわかります。

Google Pixel 2 Camera Test / Epic Road Trip - YouTube