AppleのARヘッドセット「Vision Pro」開発者が語る「ユーザーの脳と体から心を読む技術」とは？

AppleのMRヘッドセット「Vision Pro」が2023年6月6日(日本時間)に開催されたAppleの開発者向けカンファレンス「WWDC23」で、発表されました。このVision Proの開発に携わった開発者のスターリング・クリスピン氏がTwitterでVision Proについてコメントをつぶやいて話題となっています。

Vision Proがどういうデバイスなのか、その発表内容は以下の記事にまとめられています。

AppleがARヘッドセット「Vision Pro」を発表、ディスプレイという制限から解き放たれ好きな場所で好きなアプリを目と手と声で操作可能に - GIGAZINE

また、以下の記事ではApple本社のApple Parkで展示されたVision Pro実機の写真やムービーを見ることができます。

AppleのARヘッドセット「Vision Pro」の実機写真＆動画＆海外レビューが登場 - GIGAZINE

Appleで技術開発グループのNeurotechnology Prototyping Researcherとして働いていたクリスピン氏は、「人生の10％をVisionProの開発に費やしました。一つの取り組みに携わった中では一番長い期間です。ようやく発表され、誇らしいと同時にホッとしています。10年前からARやVRに取り組んできましたが、Vision Proはいろいろな意味で業界全体の集大成を一つの製品にしたものです」と述べています。

クリスピン氏は2021年末にAppleを退社するまで3年半在籍しており、そのうちの2年間をVision Proやマインドフルネス体験、■■■製品(伏せ字は原文ママ)、ニューロテクノロジーを使ったより野心的で壮大な研究の基礎開発に費やしたとのこと。もちろんクリスピン氏は秘密保持契約(NDA)をAppleと交わしているため、実際に行った仕事の多くを具体的に語ることはできません。しかし、その一部はすでに特許という形で情報が公開されていることから、クリスピン氏はいくつかに言及しています。

例えば、クリスピン氏は、「没入型体験にいるユーザーの体と脳からのデータに基づいて、ユーザーの精神状態を検出する」という技術の研究開発を行っていたとのこと。これは、ユーザーの視線の動き・脳内の電気活動・心拍やリズム・筋肉活動・脳内の血液密度・血圧などを測定することで、ユーザーが好奇心を感じているのか、怖がっているのか、警戒しているのか、過去のことを思い出しているのかなど、さまざまな認知状態を予測することを目指していたそうです。

すでにAppleが提出している特許申請にはクリスピン氏の名前が記載されているものもあり、その中でも「ユーザーが実際にクリックする前に、そのクリックを予測する」という技術は最も素晴らしい結果だとクリスピン氏は述べています。人間はクリックした後に何かが起こることを期待するため、クリックする前に瞳孔が動きます。そのため、その瞳孔の動きをモニタリングしてリアルタイムでUIを再設計し、瞳孔の反応を引き出すことで、脳から生体的なフィードバックを引き出すことに成功したそうです。クリスピン氏は「これは目を介した粗雑なBCI(脳コンピューターインターフェイス)ですが、侵襲的な脳外科手術に比べればとてもクールです」とコメントしました。

また、ユーザーが知覚できないレベルで見た目や音を素早く点滅させ、それに対する反応を測定することで、ユーザーの認知状態を推測する技術も開発していたとのこと。そして、そうした体や脳からの信号を利用して、機械学習を用いて集中度やリラックス度、学習効果を予測する方法も開発したそうです。さらに、デバイスで作り出す仮想環境がユーザーの体や脳の状態からフィードバックを受けて更新されていくという試みも行っていたそうです。

クリスピン氏は「Vision Proを長い間待っていた人はたくさんいます。しかし、まだVRへの道のりの一歩手前なのです。そして、この技術の壮大なビジョンに業界が完全に追いつくには、少なくとも10年はかかりそうです」と述べています。

そして、クリスピン氏は「このプロジェクトに着手してから5年以上が経ちました。私は自分の人生のかなりの部分をこのプロジェクトに費やしましたし、他のデザイナーやエンジニアの方々も同様です。Vision Proの全体が個々のプロジェクトの総和よりも大きくなり、皆さんの心を揺さぶることを願っています」とコメントしました。

さらに、クリスピン氏はソーシャルニュースサイトのHacker Newsで自身のツイートを取り上げた投稿にもコメントを寄せています。

Hey I appreciate the general lack of cruelty so far in the comments, sometimes H... | Hacker News
https://news.ycombinator.com/item?id=36218557

クリスピン氏は「ツイートで変な表現をしているのは、私の仕事内容や特許以外に、NDAの関係で私が行った仕事について話すことができないからです。しかし、私はかなり変わった役割をしていたのです。また、私の仕事がVision Proの未発表の既存機能や性能として解釈されることを意図していないことをはっきり示そうとしました。ツイートしているのは、むしろ私が行った研究や貢献した研究、そして特許を通じて公開された研究です」と述べています。

また、クリスピン氏は「私は人生の10％をこれに費やしたと言いましたが、これはベタな表現ですね。しかし、Vision Proは私の人生の中で際立ったものですし、生きるとはどういう旅なのかを自ら省みるのためのツイートであり、Vision Proに関わったことを自慢するつもりはありません。Vision Proは珍しい製品であり、私は珍しい役割を担っていました。Vision Proはとにかくクールなデバイスで、みんなが楽しんでくれることを願っています」と語りました。