2021年05月19日 11時45分ソフトウェア

Googleが高精度な深度マップを作成するAPIや撮影したムービーでARを利用できるAPIをAR開発キット「ARCore」に追加

現地時間の2021年5月18日にスタートした開発者カンファレンス「Google I/O 2021」で、Googleが開発・提供するAR開発キット「ARCore」に2つの新たなAPIが導入されることが発表されました。新たに導入されるAPIにより、従来より詳細な深度マップが作成可能になるほか、撮影したムービー上でARを利用できるようになるとのことです。

Google Developers Blog: Unlock new use cases and increase developer velocity with the latest ARCore updates
https://developers.googleblog.com/2021/05/unlock-use-cases-and-increase-developer-velocity-with-new-capabilities-in-arcore.html

Google upgrades ARCore API with new features to immerse users
https://www.xda-developers.com/ar-core-raw-depth-api-recording-api-google-io-2021/

2018年にリリースされたARCoreは合計で10億回以上もインストールされており、記事作成時点では8億5000万台を超えるAndroid端末がARCoreを実行し、AR体験にアクセスできるようになっているとのこと。新たにGoogleは、ARCoreの最新版である「ARCore 1.24」をリリースし、「Raw Depth API」と「Recording and Playback API」という2つの新たなAPIを導入すると発表しました。

◆Raw Depth API
Googleは2020年に、単一のカメラで深度マップを生成する「Depth API」をリリースし、Android端末で深度マップを作成してAR体験を向上させることが可能となりました。新たに発表されたRaw Depth APIは、従来のDepth APIに基づいて構築されたものだそうで、生の深度マップを作成することでより詳細なAR表現を可能にします。

生の深度マップは各ピクセルにおける深度推定の信頼値を提供する対応画像を使用し、平滑化されていないデータポイントが含まれているため、より現実に即した深度マップをキャプチャできるとのこと。

GoogleはRaw Depth APIについて紹介するムービーも公開しています。

Introducing the ARCore Raw Depth API - YouTube

Raw Depth APIを利用することにより……

従来のDepth API以上に詳細な深度マップを作成可能。

物体の奥行きや位置関係を認識することで、より高精度なAR体験が実現できます。

これにより、ARConnectアプリでは空間内の距離を正確に測定できるほか……

TikTokの最新エフェクトを使用すると、アップロードした画像を現実空間のムービーにある物体へ貼り付けることも可能となります。椅子の座面と背もたれの境目で画像が折れ曲がっており、ムービーに写っている物体の正確な深度情報が取得できていることがわかります。

Raw Depth APIはToFセンサーなどの特殊な深度センサーを必要としないため、すでにARCoreを利用している大多数のAndroidデバイスで利用可能になります。もっとも、ToFセンサーなどが搭載されている場合、よりエクスペリエンスの質が向上するとのことです。

◆Recording and Playback API
ARアプリの開発者を悩ませる大きな問題の1つとして、特定の環境におけるアプリの動作をテストする際には、実際にその場所に行かなければならないという点が挙げられます。もちろん、開発者が常に目的の場所へアクセスできるとは限らず、照明条件が時間によって変化したり、テストセッションごとにセンサーが取得する情報にズレが発生したりする場合もあります。

Recording and Playback APIは、場所のムービーと一緒にIMU(Inertial Measeurement Unit:慣性計測装置)や深度センサーのデータを記録できるようにすることで、AR開発者が抱える問題を解決するとのこと。

GoogleがRecording and Playback APIについて紹介するムービーがこれ。

Introducing the ARCore Recording and Playback API - YouTube

これまでのAR体験における制約として、「自分がARを使いたい場所に存在していなければならない」という点が挙げられます。

ARを使うにはカメラを使ってリアルタイムで周囲の情報を取得する必要があるため、家の中にいては公園を舞台にしたAR体験を楽しむことができませんでした。

しかし、新たに発表されたRecording and Playback APIを利用すれば……

撮影したムービーを元に、家の中にいても公園を舞台にARアプリを楽しむことが可能です。

また、Recording and Playback APIから恩恵を得られるのはユーザーだけでなく、ARアプリの開発者にも大きなメリットがあります。中国のハイヤー企業であるDiDiは、DiDi-RiderアプリにおけるARを用いた道案内機能の開発にRecording and Playplay APIを使用しました。