「iPhone 11/11 Pro」のカメラ性能がどう進化したのかを専門家が分析

Appleの元デザイナーとTwitterの元エンジニアが手掛けるRAW画像の撮影が可能なカメラアプリ「Halide」のデザイナーであり、写真家でもあるSebastiaan de With氏が、進化したiPhone 11およびiPhone 11 Pro/11 Pro Maxのカメラ機能を分析しています。

Inside the iPhone 11 Camera, Part 1: A Completely New Camera
https://blog.halide.cam/inside-the-iphone-11-camera-part-1-a-completely-new-camera-28ea5d091071

iPhone 11およびiPhone 11 Proではカメラ機能が進化していますが、ハードウェア上で劇的な進化が起きているというわけではないそうです。iOS 13.2から利用可能になった新しい画像処理システムの「Deep Fusion」や、暗所での撮影に特化した「ナイトモード」のような、ソフトウェア上での処理が非常に進化している模様。

iPhone 11シリーズのナイトモードでどんな写真が撮れるようになるのかは、以下の記事をチェックするとわかります。

「iPhone 11 Pro」の変態的性能なトリプルカメラで写真やムービーを撮影しまくりレビュー - GIGAZINE

◆iPhoneカメラの基本的な仕組み
そもそもiPhoneではユーザーが写真を撮っているわけではありません。これがどういうことかというと、ユーザーがシャッターボタンをタップする前に、既にiPhoneは複数の画像を撮影しており、シャッターボタンをタップした瞬間の画像をソフトウェアが取得するという処理が行われているためです。

カメラアプリを開くと画像のリングバッファのようなものを開始し、シャッターボタンをタップするとiPhoneはバッファの中から最もシャープな画像を選択します。

この仕組みを知らないユーザーは自分が画像を撮影したものと勘違いしますが、実際にはOSが自動で撮影した画像の中からiPhoneが最も優れたものを選び出しているだけであり、どのタイミングの画像を選出するかをユーザーがザックリ指定しただけとも言えます。

さらに、Appleによると出力される画像は、複数の画像の露出を複合的に処理したものとなるそうです。

◆iPhoneのRAW画像とスマートHDRについて
そんなiPhoneのカメラには、2018年にリリースされたiPhone XSから「スマートHDR」という機能が追加されています。スマートHDRはiPhone XS以降の端末で利用可能な機能で、露出が高すぎる画像と低すぎる画像を組み合わせて1枚の画像を作り出すことで、画像の影部分や白飛びしている部分をより精細に表現するというもの。なお、スマートHDRの「HDR」はハイダイナミックレンジ合成の略です。

人間の目は非常に高性能で、20ストップ程度のダイナミックレンジが可能だそうです。それに対して、記事作成時点ではフルサイズ一眼レフカメラとして最新モデルのα7R IVは低感度時は約15ストップ、iPhone 11シリーズは約10ストップのダイナミックレンジが可能とのこと。なお、フィルム写真のネガフィルムの場合、ダイナミックレンジは13ストップ程度だそうです。

iPhoneのスマートHDRはダイナミックレンジを改善するために、通常とは異なるアプローチを取っており、これをSebastiaanさんは「不正行為」と表現しています。iPhoneは、画像の明るい領域と暗い領域の詳細を同時に表現可能な15ストップ以上の広ダイナミックレンジセンサーではなく、十分に高速に画像を取得できるセンサーとそれらを統合することができるスマートなソフトウェアで、ダイナミックレンジを改善しているとのこと。つまり、α7R IVがハイスペックなセンサーに頼る処理を、iPhoneのスマートHDRの場合はソフトウェア上で行っているというわけです。もちろんこの「ソフトウェア上の処理」にユーザーによる操作は一切必要なく、すべて自動で行われます。

ただし、スマートHDRにはトレードオフ的な側面があり、iPhoneのカメラセンサーを高速で短時間の露光に偏らせると、ノイズの多い画像が生成されてしまうそうです。そのため、iPhone XSやiPhone XRのカメラで撮影したRAW画像には、写真の細部が失われてしまうという副作用があるとのこと。

以下の画像は左がiPhone XSで撮影したオリジナル画像で、右が編集ソフトでノイズを大幅に低減した画像。確かに見比べるとオリジナル画像はノイズが多めです。

このようにAppleは撮影した写真のRAW画像をソフトウェアで「きれい」に処理してユーザーに提供しているため、iPhoneで撮影した写真はすべて「美肌フィルターをかけた写真であるかのよう」という非難もあります。実際、iPhoneの写真はすべてのテクスチャーが滑らかになってしまうため、多くの場合は優れた写真が撮影できるものの、写真のディテールが失われてしまうという弱点があることも確かです。

iPhone XSのRAW画像とスマートHDRで撮影した写真を交互に表示するGIF画像。葉っぱなどのディテールがよりしっかり表現されているのがRAW画像です。


そのため、RAW画像での撮影がカメラ機能を使いこなすiPhoneユーザーの間でブームになり、Halideのようなカメラアプリが流行するようになりました。例えばHalideアプリの場合、RAW画像を取得してから編集することで、スマートHDRと同じようにダイナミックレンジを回復しながら、写真のディテールを失わないように画像を加工することもできたそうです。

以下の画像はiPhone XSのスマートHDRで撮影した画像(左)と、iPhone XSで撮影したRAW画像を編集したもの(右)。車のボンネットの質感などが右の写真の方がより精細に表現できています。

しかし、iPhone 11シリーズのカメラアプリはスマートHDRが進化しており、iPhone XS/XRで見られた粗さがなくなり、テクスチャーを滑らかにしすぎたり白飛び部分を平坦化してしまったりといったことが少なくなっているとSebastiaanさんは記しています。

◆写真のディテールについて
写真のディテールはカメラ愛好家が常に求めているもので、レンズの不鮮明さやカメラのメガピクセルの増加、センサーのサイズなど多くの要素が求められるものです。デジタル機器の分解・修理を行うiFixitにより、iPhone 11とiPhone XSのメインカメラのメガピクセル数は変わりないことが明らかになっています。それでも、ハードウェア面ではいくつかの改善点があり、そのひとつはISO感度の範囲だそうです。iPhone XSと比較するとiPhone 11 Proの広角カメラは33％、望遠カメラは42％ISO感度の範囲が広くなっているとのこと。

SebastiaanさんはiPhone 11シリーズでISO感度の範囲が広くなったのは、ナイトモードのためだと考えていたそうです。実際、ISO感度の範囲が広くなったことで、iPhone 11シリーズではより幅広い明るさの環境で、ノイズの少ない写真が撮影できるようになったとのこと。ただし、ISO感度の最小値がiPhone XSでは「20」だったのに対して、iPhone 11 Proでは「32」になっているため、明るい環境下で撮影した場合、ソフトウェア上での画像処理が入らないRAW画像では、iPhone 11シリーズの方がわずかにノイズが多くなるとのこと。

以下の画像の左はiPhone XSで撮影したRAW画像を切り抜きしたもので、右はiPhone 11 Proで撮影したRAW画像を切り抜きしたもの。Sebastiaanさんは「わずかにノイズが増えているにもかかわらず、(iPhone 11 Proの)センサーはより精細に撮影できるようで、すべてのレベルで改善がみられる」と記しています。

なお、スマートHDRのダイナミックレンジの話の中で、iPhone 11をソニーのα7R IVと比較しましたが、α7R IVのセンサーサイズはフルサイズ(35mm)であるのに対して、iPhone 11シリーズのセンサーは以下の通り非常にコンパクトです。

ユーザーが撮影した写真を編集する場合、全体を明るくしたりシャープにしたりと、画像全体に変更を加えることケースがほとんどです。しかし、プロレベルでの写真編集では、モデルの肌部分だけを滑らかに加工するなど、写真を部分的に編集していきます。

例えば空の場合、ノイズリダクションが積極的に適用されます。これは空の色が均一的な場合が多いからで、iPhoneの画像処理システムの場合は空が最もきつめにノイズリダクションがかけられてしまうため、空が水彩絵の具で描いた絵のようにのっぺりとしたものになります。それに対して、空以外の色の変化が大きな部分には異なるレベルのノイズリダクションがかけられるため、ディテールがしっかりと残ります。以下の風景写真の場合はサボテンと空部分では全く異なるノイズリダクションがかけられているわけです。

以下の画像の左がiPhoneのソフトウェア上での画像処理が施された写真で、右がRAW画像。

しかし、iPhone 11シリーズのソフトウェア上で施される画像処理が完璧というわけではないので、ディテールを少し失ってしまうケースもあるそうです。その理由は、iOSが「これがサボテンで、これが空」と明確に画像に映った物体を認識しているわけではないからだそうです。加えて、iPhoneには顔検出機能が存在するため、この機能によって人間の顔と判断された場合、ディテールがより細かく残るように画像処理が施される模様。

Appleは機械学習を用いて写真を細かく分割し、それぞれに個別の処理を施しているわけですが、それが瞬時に行われている点が「非常に印象的」とSebastiaanさんは記しています。

Sebastiaanさんは「このエリアごとに異なる画像処理が行われている点が、iPhone 11シリーズをまったく異なるカメラに進化させている」としています。

iPhone 11シリーズとiPhone XSで使用されているノイズリダクションの品質を客観的に比較することは困難ですが、iPhone 11のノイズリダクションではより細部が保持されるようになったとのこと。これについてSebastiaanさんは、「iPhone 11シリーズの新しいノイズリダクションでは、機械学習を用いてノイズにより失われる可能性のあるディテールを『埋める』ことができるようになったと推測できます。これは多くの最新ノイズリダクション技術で用いられているもので、歓迎すべき改善です」と記しています。

◆超広角レンズ
iPhone 11 Proには3つ目のカメラとして、超広角レンズを搭載したカメラが備わっています。しかし、この超広角レンズで撮影した画像からは、RAW画像を取得することができません。Sebastiaanさんは「いずれソフトウェアの更新により、超広角カメラで撮影したデータからもRAW画像を取得できるようになるでしょう」としています。

以下の写真はiPhone 11 Pro・Spectre・超広角カメラで撮影した写真。多くのディテールが失われているとSebastiaanさん。

iPhone 11 Proの超広角カメラは3つのカメラの中で最も暗いレンズであるため、より高いISOを設定する必要があります。そうなると画像の中にノイズが増えるため、必然的にノイズリダクションも増え、ディテールが失われていくとのこと。

また、超広角カメラは色収差が起きるという問題点も抱えているそうです。以下の写真で撮影された植物の葉っぱの周りが紫やピンクがかった緑色に見えるのが、色収差による色ズレです。

◆まとめ
Sebastiaanさんは2019年に発売されたiPhone 11シリーズのカメラ性能は、ハードウェア・ソフトウェアの両面から格段に向上しており、「iPhone 11およびiPhone 11 Proはスマートフォンカメラの頂点に君臨するにふさわしいもの」となったとしています。

過去のiPhoneで撮影できた写真は「SNSで共有するのにふさわしい」程度のものだったそうですが、画像処理の大幅な改善により、「iPhone 11シリーズはデジタルカメラに挑むことができる最初のiPhoneとなった」とSebastiaanさんは記しています。

以下の画像は片方がソニーストアで39万9000円で販売されているα7R IVとSEL2470GMで撮影したRAW画像で、もう片方がiPhone 11 Proの望遠カメラで撮影した写真のRAW画像。ソニーのα7R IVは有効画素数が約6100万画素であるのに対して、iPhone 11 Proは1200万画素なので、α7R IVの写真はトリミングおよび縮小されているそうです。

なお、Sebastiaanさんはどちらの写真がどちらのカメラで撮影したものか明かしていませんが、「どちらがどちらのカメラで撮ったものかはおそらくわかるだろうが、比べてみると十分良いクオリティの写真になっていることがわかる。カメラメーカーはiPhoneのカメラを脅威に感じる必要がある」と記しています。

ただし、写真をJPEGもしくはHEICといった画像ファイルフォーマットで保存すると、編集に役立つ多くのデータが破棄されてしまうとSebastiaanさんは指摘。

iPhone 11シリーズのRAW画像はかなり明るく出力されるものの、白飛びしているように見える部分でも編集時に露出を抑えることで詳細を残すことができるそうです。

また、カメラアプリで雪景色などを撮影すると、ホワイトバランスが狂っているため雪が青白かったり黄色みがったりしたものになることがありますが、RAW画像ならばあとからホワイトバランスを合わせることで、より正確に画像の色味を表現することができるとのこと。

そのため、SebastiaanさんはHalideのようなRAW画像とソフトウェアによる画像処理が施されたあとのJPEG画像を同時に取得できるアプリの利用を推奨しています。