従来のARをはるかに凌ぐリアルとデジタルの相互作用を実現可能なAR技術「Niantic Occlusion」

最近Nianticが買収したMatrix Millは、複数のカメラから周囲の物体に関する情報を収集し、形状を推測できるディープニューラルネットワークの構築に長年取り組んできたチームです。このMatrix Millが長年かけて開発に取り組んできたディープニューラルネットワークは、「コンピューターが現実世界をどのように見て理解するのか？」を再定義し、現実世界のオブジェクトとデジタルオブジェクトがどのように相互作用するのかを大きく変える可能性を秘めています。そんな技術をもとに、Nianticがこれまでの拡張現実(AR)よりもはるかにリアルで、現実とデジタルが精巧に相互作用することが可能なAR技術「Niantic Occlusion」を開発しており、驚がくのデモンストレーションが公開されています。

A Peek Inside the Niantic Real World Platform - Niantic
https://nianticlabs.com/blog/nianticrealworldplatform/

「Niantic Occlusion」が従来のARとはどのように異なるのかは、以下のムービーを見れば一発でわかります。

Codename: Niantic Occlusion - Real World AR Occlusion featuring Pikachu and Eevee - YouTube


従来のARの場合

現実世界の映像の上にARオブジェクトのピカチュウを表示しています。

ただし、ARオブジェクトをただ載せているだけなので、現実世界に存在する物体のことは完全に無視した表示になります。

この「ARオブジェクトと現実世界のオブジェクトが相互作用できない」というのが従来のARにおける大きな制限の1つでしたが、Niantic Occlusionは見事に解決しているとのこと。

そんなわけで、ここからはNiantic Occlusioのデモンストレーションとなります。

ピカチュウが表示されるまでは同じでしたが……

なんとピカチュウは走ってプランターの裏側へ行ってしまいます。

そして歩行者の後ろから登場。

こんな具合にニューラルネットワークが現実世界に存在するオブジェクトの形状を認識し、「まるでピカチュウが現実世界にいるかのように」表示できるようになるわけです。

Niantic Occlusionの事例その2。

続いてイーブイも登場。

ARオブジェクトが増えてもこの通り。

「Niantic Occlusion」のように、現実世界のオブジェクトを詳細に理解し、デジタルオブジェクトに「まるで現実世界にいるかのように」現実世界のオブジェクトと相互作用させることを目指しているのが、Nianticが開発を進める「Niantic Real World Platform」です。

以下は、開発中のコンピュータービジョンが現実世界のオブジェクトを細かく認識し、定量可能な信頼スコアで各オブジェクトが「何か」を説明している様子。コンピュータービジョンアルゴリズムに「テーブル」や「イス」といったオブジェクトを学習させることで、語彙が増え、さまざまな物体を認識可能となっていく模様。


コンピュータービジョンが現実世界のオブジェクトを正しく理解することができるようになれば、Niantic Occlusionのような「現実世界のオブジェクトとの相互作用」以外にも、例えば「現実世界の花」を見つけた場合は「デジタルのハチ」を表示したり、「現実世界の湖」を見つけた場合は「デジタルのアヒル」を表示したりが可能となるため、ARとしての可能性は無限大に広がるとNianticは記しています。

Nianticは「Niantic Occlusion」の他にも「Niantic Real World Platform」向けに新しい技術を開発しています。例えば、マルチプレイヤーゲームのために独自の低レイテンシーARネットワーキング技術を開発しており、これのおかげで以下のムービーのように複数人で楽しめるARマルチプレイヤーゲームをシームレスに実現することが可能となっています。

Codename: Neon - Real World Multiplayer AR Demo - YouTube


Codename: Tonehenge - Real World Multiplayer AR Demo - YouTube