単一カメラで深度マップを生成して高度なARコンテンツが手軽に作成できるようになる「ARCore Depth API」が何億台ものAndroid端末で利用可能に

GoogleはAndroidやUnity向けの拡張現実(AR)コンテンツを充実させるために、ARコンテンツプラットフォーム「ARCore」を開発しています。2019年末にはAPIとして、単一のRGBカメラで深度マップを生成できるようになるARCore Depth APIのプレビュー版が公開されていますが、このたび、このARCore Depth APIがARCore 1.18以降に対応したすべてのAndroid端末で利用可能になることが発表されました。

Google Developers Blog: A new wave of AR Realism with the ARCore Depth API
https://developers.googleblog.com/2020/06/a-new-wave-of-ar-realism-with-arcore-depth-api.html

GoogleはARCore Depth APIにおける最も重要な機能として「オクルージョン」を挙げています。これはARで表現するデジタルオブジェクトが現実世界のオブジェクトの背後に正確に表示されるための機能で、オクルージョンに対応することでARで表現するオブジェクトがあたかも現実世界に本当に存在するかのように感じられるようになり、AR体験の質が大幅に向上するとのこと。

例えば以下のGIF画像のように、物陰からARで表現した機械のキャラクターを正確に登場できるようにしているのがオクルージョンというわけです。通常、物体の距離を正しく測定しなければこのような表現は不可能ですが、ARCore Depth APIならば単一のカメラだけで正確な深度マップを生成することができるため、この種の表現が可能となります。


Googleは「ToFセンサーなどの深度センサーは、ARCore Depth APIが機能するために絶対必要というわけではないものの、これらを使用するとAR体験の品質がさらに向上します」と述べています。

今後数か月以内にGalaxy Note10＋およびGalaxy S20 UltraでARCore Depth APIを使用できるように、Quick Measureアプリを更新することを約束したSamsungのカメラテクニカルプロダクトマネージャーであるSoo Wan Kim氏は、「ARCore Depth APIとToFのロックが解除されることで、深度スキャンの時間が短縮され、テクスチャの少ない平面でも高速に平面を検出できるようになります。これが実現することで、ARアプリはユーザーによりシームレスな体験を提供できるようになります」と語っています。

Five Nights at Freddy's AR: Special Deliveryというゲームアプリを開発したゲームスタジオのIllumixは、ARCore Depth APIのオクルージョン機能を用いて特定のキャラクターがオブジェクトの背後に隠れることで、驚異的な恐怖体験を実現しています。


他にも、SnapchatのARコンテンツ体験機能である「Lens」では、ARCore Depth APIのサポートにより、Lens向けのコンテンツ開発者がより簡単にARコンテンツを作成できるようになりました。


ARでドミノアートを作成できるLines of Playや……


ARを用いたリモートアシスタンスソリューションのTeamViewer Pilotなども、ARCore Depth APIを用いた事例として挙げられています。


なお、GoogleはARCore Depth APIのサンプルセットを集めたARCore Depth Labをアプリとして公開しているだけでなく……


オープンソースのGitHubプロジェクトとしても公開しています。

GitHub - googlesamples/arcore-depth-lab: ARCore Depth Lab is a set of Depth API samples that provides assets using depth for advanced geometry-aware features in AR interaction and rendering. (UIST 2020)