第2世代iPhone SEはシングルカメラでどのようにして「奥行き」を計測しているのか？

2020年4月24日に登場した第2世代iPhone SEは、シングルカメラにも関わらず機械学習を使ったソフトウェアによって、一眼レフのように被写体以外をぼやけさせる「ポートレートモード」での撮影が可能です。第2世代iPhone SEがどのようにして被写体を判定しているのか、iPhoneのポートレートモードを人物以外の被写体にも適用する機能を備えた人気カメラアプリ「Halide」の開発チームが解説しています。

iPhone SE: The One-Eyed King? - Halide
https://blog.halide.cam/iphone-se-the-one-eyed-king-96713d65a3b1

デバイスの分解レビューを多数発表しているiFixitは、2020年4月27日に公開した第2世代iPhone SE分解レビューの中で「iPhone 8と同じカメラセンサーとディスプレイを搭載していると思われる」と発表しました。

By iFixit

第2世代iPhone SEは2017年に発売されたiPhone 8と同等のカメラモジュールで撮影を行っていると判明したわけですが、第2世代iPhone SEはシングルカメラだけを使用することでポートレートモードを実装した初めてのiPhoneで、そのカメラ機能は進歩しています。なお、iPhone XRもシングルカメラかつポートレートモードによる撮影が可能なiPhoneですが、iPhone XRはピントを少しずつずらしながらセンサーで被写界深度を計る「Focus Pixels」という技術を使用しているため、「シングルカメラだけ」でポートレートモードを実現しているわけではないとHalideの開発チームは判断しています。

Halide開発チームによると、第2世代iPhone SEのカメラ機能の特徴とは、「機械学習を使用したソフトウェアによる深度計測」にあります。例えば、以下の写真をソフトウェアによる処理で背景のぼけたポートレート写真にするというわけです。

Appleが公開した開発者向けの機械学習データセットによると、iPhone XRのソフトウェアでは「中央の物体が周囲よりも手前に存在する」と判定して、以下のように深度を定めます。

一方、第2世代iPhone SEのソフトウェアではこんな感じになるとのこと。Halide開発チームいわく「まだ間違っている」ものの、背景の手前側はカメラに近く、背景の奥側はカメラから遠いことを識別していることがわかります。

しかし、第2世代iPhone SEの深度計測には複数の問題が存在します。その1つが、「深度をおおまかにしか計測できない」という点です。以下の多肉植物は、多数の房が寄り集まっているため、正確な深度情報を測定することが困難です。

トリプルカメラを備えたiPhone 11 Proによる深度マップ(左側)と、第2世代iPhone SEの深度マップ(右側)を比較した画像が以下。iPhone 11 Proでは複数のカメラで被写界深度を計測することで房の輪郭まで細かく深度を計測して正確な深度マップを作成することが可能ですが、第2世代iPhone SEでは大まかにしか深度が判定されていません。

それぞれで撮影した画像が以下。iPhone 11 Pro(左側)は正確な深度マップを生成できるため、多肉植物の各房が精細に写し出されていますが、第2世代iPhone SE(右側)では深度マップで正確に測定できていなかった多肉植物の右側の房がぼやけてしまっています。

別の問題が、「被写体が人物以外の場合に深度計測を失敗する」というもの。以下が失敗の実例。画像赤枠部分、犬の頭部上部の木々がぼけていません。

ソフトウェア的には以下のように判定されており、犬と木々の境界の判別がつけられていないことがよくわかります。

このような問題を避けるため、Appleはデフォルトカメラアプリにおいて、「被写体が人物以外の場合はポートレートモード不可」という設定にしています。Halide開発チームによると、「物体以外をポートレートモードすると時折ミスが生じてユーザーがガッカリしてしまいます。Appleはユーザーを失望させるよりは、『ポートレートモードは被写体が人物専用』と設定したほうが良いと考えているのでしょう」と指摘しています。

また、Halide開発チームは第2世代iPhone SEの被写界深度に関する機械学習について、「人間ですら錯視などによって奥行きを見誤ることがあり、ニューラルネットワークも深度計測を間違うことがあります」と指摘して複数のレンズで撮影することのメリットを強調しましたが、「現在のペースで機械学習が進化したならば、数年後には目立った深度計測ミスを起こさないようなソフトウェアが完成するかもしれません」と記しています。