Googleのリアルタイム空間認識技術「Tango」は一度に数百個の構造物の特徴を把握して「空間」そのものを記憶できる「Area Learning」機能を持つ

Googleが開発中のリアルタイム3D認識技術「Tango」は、空間内の特徴を記憶することで、空間そのものを記憶できる「Area Learning」機能を持っています。屋内3Dマッピング実現に不可欠なArea Learnigの技術はここまで進んでいるというデモが、Google I/O 2016で発表されています。

Introducing Project Tango Area Learning - Google I/O 2016 - YouTube

会場の客席が満席になっているのに驚くProject Tangoの開発者のウィム・ミュースン氏。今日は「Area Learning」という技術について説明するとのこと。

「Project Tangoについて知っている人」と尋ねると、ほぼ全員挙手。

「では、Area Leaningについて聞いたことがあるという人は？」

パラパラとしか手が上がりません。

今日は、ぜひArea Learningについての知識を得て欲しいと話すミュースン氏は、まずはTangoの特性からおさらい。

Tangoは特別なカメラを備えた端末で、人間が空間を認識するのと同じ性能をモバイル端末で実現しようというプロジェクトがProject Tangoです。

Tangoの特性として大切なのが、「モーショントラッキング」「深度認識」そして、「Area Learning」

モーショントラッキングとは、外部空間の変化から動きを推測する技術。

例えばある場所からスタートして……

進んで、折り返し点で戻ってくるという動作をTango端末に加えます。

元の場所に戻るとTangoはスタート地点であることを認識し、どれくらいの距離を動いたのか正確に計測できます。

一方、深度認識は、物体の奥行き情報を取得する機能。

Tangoに備わる特殊な深度測定用の赤外線カメラを使って奥行きを測定できます。

そして、3つめが今日のメインテーマである「Area Learning」。空間を記憶する機能です。

例えば、ある特定の建物に入った経験がある場合、時間がたった後で再び同じ場所を訪れたとき、「この空間に来たことがある」と感じるはず。

これは、建物内の特徴的な構造物を記憶しているからです。これと似た機能をTangoに持たせるのがArea Learningとのこと。

では、Area Learningはどのように働くのか？

Tangoのカメラは広角で、視界に映る特徴的な複数の構造物をとらえます。

同じ構造物の配置でも、Tangoの位置や向きが変わると、その見え方は変わります。しかし、複数の構造物の配置を計算することで、相互の相対的な位置が変わっていないことを判断することは可能です。

たとえ、ある構造物が真正面にある場合でも、残りの構造物の位置から、配置自体に変化がないと計算で分かる場合、Tangoは同じ場所だと認識します。これが空間配置を記憶して、場所を覚えることのできる機能Area Learningです。

ということで、Area Learningの実演。

Area Learning機能がOFFの状態では、モーショントラッキング機能だけが働いています。

Area Learning機能をONにすると……

空間内の特徴的な構造物を認識すると……

黄色い点が固定化されました。これで、Tangoは空間内の構造物の配置を記憶したというわけです。なお、Tangoは一度に数百個の構造的特徴を把握して記憶できるとのこと。

ここで、Tangoのカメラに目隠しをしてみると……

空間内の記憶した黄色い点が消えました。

目隠しをとってTangoで周囲を見渡すと……

先ほど記憶した場所が写ると黄色い点が現れて、記憶している場所と同じであることを認識しました。

Area Learningが使えない条件とは何か？

左は衣服が散らかった部屋で右は整頓された部屋。部屋自体は同じですが、目印になる物体が散乱している場合、Tangoは混乱しやすくArea Learningが機能しにくいとのこと。

他にも、昼夜で光の具合の違う部屋や……

逆行や……

観客の有無に差がある場所や……

真っ白で特徴のない空間など、苦手な空間の克服が課題だとのこと。

さらに、もうひとつのデモ。

台の上に仮想の立方体の箱を置いてみます。

もちろん離れても、視界から箱が消えても、台を映し直せば箱は現れたまま。

しかし、Area Learning機能がOFFの場合にTango端末を激しく動かすと……

箱を見失うことがあります。

一方で、Area Learning機能がONの場合。

Tango端末を激しく動かすと……

やはり箱を見失うものの……

瞬時に復活。空間を記憶しているので、仮想の物体を再現できたというわけです。

次は、Area Learningの共有機能。TangoタブレットをVRヘッドセットのように装着する人たちの間で、空間の記憶情報を共有するという実験です。

流れは、周囲の構造物を把握して空間を記憶、その記憶情報を共有して、全員で同じ空間を認識できればOK。

空間を3人が正確に共有できているかは、タブレット端末を受け渡すことでテストします。

これは、Tangoヘッドセットを装着した一人が見ている映像。Tangoヘッドセットを装着した3人ともがこのようなVR空間を見ています。画像中央に移る白色の物体は仮想空間に作り出されたバーチャルなタブレットです。

右の人がバーチャルタブレットを左の人に手渡すと……

自然に、左の人は受け取ることに成功。3人とも別々のVR空間の映像を見ているので正確な位置情報が共有されていないとできない芸当というわけです。

ミュースン氏は「Area Learning技術の開発はまだスタート地点に立ったばかりです」と話します。

Area Learning技術が進化した先には、建物内にARの情報を出すような屋内型の3Dマッピングが実現するとのこと。

TangoプロジェクトはLenovoと提携してTangoタブレットを開発者向けに製造しています。

ミュースン氏によると、開発者専用ではない一般向けのTangoスマートフォンをLenovoと共同で開発して2016年後半にリリースする予定だそうです。