Facebookが手の動きだけでコンピューターを制御可能にする腕時計型デバイスを開発中＆ムービーを公開

Facebookが開発中の「人の考えを読む腕時計型デバイス」のプロトタイプのムービーを公開しました。デバイスは脳から送られる神経信号を読み取ることで、ユーザーが手をどうやって動かしているのかを認識し、ハンドジェスチャーによるコンピューターの制御が行えるようになるほか、「見えないキーボード」を実現させるものとなっています。

Inside Facebook Reality Labs: Wrist-based interaction for the next computing platform
https://tech.fb.com/inside-facebook-reality-labs-wrist-based-interaction-for-the-next-computing-platform/

Facebook shows off mind-reading technology
https://www.cnbc.com/2021/03/18/facebook-shows-off-mind-reading-technology.html

これまで、Facebookがスマートグラスをレイバンと共同開発していることは伝えられていましたが、スマートグラスの大きな問題の1つは「AR(拡張現実)に表示されたスクリーンをどうやって操作するか」、言い換えると入力装置をどうするかという点にあります。

Facebookがレイバンと共同開発したスマートグラスが2021年に登場 - GIGAZINE

この点、Google Glassの場合は「音声」と「フレームのタップ」で操作を行う仕組みでした。一方でFacebookは「脳を読むリストバンド」を開発するスタートアップを買収しており、腕時計型デバイスを使って「人の手の動きを読み取る」ことでマウスやキーボードの代わりを果たすことを考えている様子。

Facebookが開発中の技術により何ができるようになるのかは、以下のムービーを見るとよくわかります。


AR空間でさまざまな立体に囲まれている女性。

腕時計型のデバイスをつけた女性が指を動かすと……

立体が整列。

また立体を払うように手の甲を動かすと、スーッと立体が消えていきました。

人は「指を動かしたい」と思うと、その神経信号が……

脊髄を通る運動神経を伝い、筋肉へと送られていきます。

指先に信号を送るためには、信号が手首を通る必要があるので、腕時計型デバイスが表面筋電位(EMG)と呼ばれる信号を読み取ることで、「人が指をどのように動作したいか」を認識します。この動作にハンドジェスチャーとしての意味を持たせることで、マウスやキーボードなしでコンピューターの制御が可能になるわけです。

このため「手をグーにして親指を動かす」という動作だけで……

リモコンがなくともリモコン操作が可能になります。

コンピューターのロックを外すことも、ジェスチャーのみでOK。スマートフォンを始めとする既存のコンピューター体験は「スクリーンや入力装置を持ったデバイス」の存在が必須でしたが、Facebookの技術が現実のものとなれば、スマートフォン本体がなくともスマートフォンの操作が可能になる可能性があります。

Facebook Reality LabsのHrvoje Benko氏は「まるでスーパーパワーのよう」だと語ります。

さまざまなものが腕時計型デバイスで制御可能になれば、料理をしている最中に目の前に表示された「お湯を沸かす」というボタンを押すだけで操作が可能。物理的なデバイスには空間的な制限が伴いますが、Facebookの技術があればこの制限がなくなるわけです。

ハンドジェスチャーのみで家電を操作。

これまではスマートフォンのアプリ上で行っていた「明かりの強さや色の調整」といったことが、手のひらだけで完結するようになります。

もちろん、キーボードも不要になります。

なお、FacebookのCTOであるMike Schroepfer氏は上記の技術が開発の初期段階にあり、いつ一般販売されるかといったタイムラインを予測することが困難であると述べています。