ARと立体音響を組み合わせて現実と区別がつかないような音を鳴らすシステムをFacebookが開発

Facebook Reality Labs Researchが「Perceptual superpowers」と呼ぶARシステムの詳細を発表しました。このシステムは、ARと立体音響を組み合わせることで、視覚で例えるとメガネにホログラムを組み合わせたような聴覚を実現します。

Inside Facebook Reality Labs Research: The Future of Audio - About Facebook
https://about.fb.com/news/2020/09/facebook-reality-labs-research-future-of-audio/

Facebook wants its AR glasses to give wearers superhearing - The Verge
https://www.theverge.com/2020/9/3/21418353/facebook-reality-labs-vr-ar-glasses-audio-experiment-perceptional-superpowers

Facebook Reality Labs Researchは、この研究について「混雑したレストランやバーで、大声を出さなくても、他の人が何を言っているか苦労することなく理解し会話できるという状況を想像して欲しい」と表現しています。

具体的な例として、実際に端末を着用して会話している様子が公開されています。この会話で、ARメガネのマイクは音声を拾い、状況に応じた文脈を用いて重要な音を判断し、ノイズを削除した上でイヤホンに送ります。電話やビデオ通話であれば、参加者や声やその他の音声を部屋の特定の場所から出ているかのように発することで、誰かと一緒にいるように思えるほどだとのこと。

「文脈」を読むにあたっては、指向性センサーやアイトラッキングカメラによる体の向き・視線の向きを含む情報が用いられるそうです。

Facebook Reality Labs Researchでは、「現実と区別がつかないようなバーチャルな音を鳴らす」「人間の耳を再定義する」の2つの目標を掲げているとのこと。その実現と技術公開は、そう遠くなさそうです。