Googleが「視線を使って会話する」ことを可能にするAndroidアプリを開発

言語障害や運動障害により音声による会話が困難な人を支援するため、Googleが「視線を使って会話する」ことを可能にするAndroidアプリ「Look to Speak」を開発しました。このアプリを使うことにより、発話が困難なユーザーが事前に登録したフレーズを視線で選択し、他者とスムーズに会話することが可能になるとのことです。

Look to Speak helps people communicate with their eyes
https://blog.google/outreach-initiatives/accessibility/look-to-speak/

Google Look to Speak lets you use your eyes to select and speak phrases - The Verge
https://www.theverge.com/2020/12/8/22160011/google-look-to-speak-eye-tracking-android-disability

Googleが2020年12月8日に発表した「Look to Speak」は、音声会話に障害を抱える人のコミュニケーションを容易にするために開発されたアプリです。2020年初頭からGoogleの研究チームと協力して開発に携わった言語聴覚士のリチャード・ケイブ氏は、コミュニケーションの支援が必要な人と10年以上にわたって関わってきた人物。ケイブ氏は「Look to Speak」について発表したGoogleブログの中で、「私は毎日、人々が日常のニーズや意見、感情、アイデンティティを表現するためのより簡単でアクセスしやすい方法を見つけるために務めてきました」と述べています。

ケイブ氏は、「視線などを用いて操作可能なデバイスがあれば、音声コミュニケーションに障害を抱える人々を支援できる」と述べています。ユビキタスなモバイルデバイスが機械学習などにより進化するにつれて、スマートフォンを使って視線を用いた音声コミュニケーションの支援ができるのではないかと考えるようになったとのこと。Googleで一部の人々が同様のアイデアを試していることを知ったケイブ氏は研究チームに参加し、視線を使った会話を実現する「Look to Speak」を開発しました。

実際に「Look to Speak」がどのようなアプリになっているのかは、以下のムービーを見るとよくわかります。

Getting started with Look to Speak - YouTube


「Look to Speak」を使う際はスマートフォンを顔の少し下あたりに固定して、視線を右に向けたり……

左に向けたり

上に向けたりすることで操作できます。

アプリのメイン画面には、事前に登録したさまざまなフレーズが、画面の左右に分かれて表示されています。もしこの中から「How are you？」というフレーズを選択したい場合……

まずは視線を「How are you？」が表示されている左に向けて選択します。

すると、左側に表示されていたフレーズが半分ずつ、画面の左右に表示されました。

今度は「How are you？」が右側に表示されているので、視線を右に向けて選択。

これを繰り返すことでフレーズを絞り込み……

最終的に選択されたフレーズの音声が流れます。

なお、目線を上に上げることで……

アプリを待機状態にすることができます。

スマートフォンの画面は顔のやや下に固定するといいそうです。

登録するフレーズは自由にセットアップ可能なため……

使う頻度が高いフレーズを自分の好みで設定できます。なお、最初に表示されるフレーズは左右に8個ずつの合計16個とのことで、4回の視線操作でフレーズを絞り込めるようになっています。フレーズの内容は外部や第三者とは共有されず、スマートフォンの中だけに保存されるとのこと。

なお、設定画面は視線による操作ができないため、自分または支援者が手動で設定する必要があります。

実際にケイブ氏が支援する人が「Look to Speak」を使う様子は、以下のムービーをみればわかります。

Look to Speak: Helping accessibility users communicate - YouTube


画面右側の男性がケイブ氏で、左側のイスに座っているのが運動障害を持つサラさん。

サラさんはしゃべることができませんが……

アーティストとして成功を収めており、講演などもこなしています。

サラさんが会話する際は視線を使い……

デジタルキーボードの文字を選択し、言葉を入力しています。

文章ができると、「ハロー、リチャード」という音声が流れました。視線を使って文章を作成する支援デバイスは便利ですが、比較的大きいため常に持ち運びできるわけではありません。

そこでケイブ氏は2020年からGoogleのチームと協力し、スマートフォンで人々の会話を支援するアプリの開発に取り組みました。

スマートフォンの顔認識機能を使えば、大まかな視線の向きを把握することができるため……

事前に登録したフレーズをスムーズに選択することが可能です。

手軽に持ち運び可能であり多くの人が所有しているスマートフォンで会話を支援できるようになれば、さまざまな社会的・経済的状況に置かれた人々にとって大きな利益があります。

ケイブ氏は実際にアプリを必要とする人のフィードバックを得るため、サラさんにも「Look to Speak」を使ってもらったそうです。

最初のセットアップやフレーズ登録は視線だけで完了できないため、人の手が必要となる模様。

視線を左に向けて「Look to Speak」を操作するサラさん。

すると、「My name is Sarah」という音声が流れました。このように、実際に障害を持つ人のフィードバックを得ながら「Look to Speak」は開発されたそうです。

従来の支援デバイスは非常に多機能であり、登録したフレーズ以外の言葉を自由に入力できることから、ケイブ氏は「Look to Speak」がコミュニケーションを完全に置き換えるとは思っていません。

実際にケイブ氏が一部の人々に「Look to Speak」を使ってもらったところ、屋外や移動中、シャワー中などの支援デバイスが持ち運べない場所で、スマートフォンを用いたコミュニケーションが簡単になったというフィードバックが得られたとのこと。「以前は沈黙があったかもしれない場所で、会話がより簡単に行われるようになりました」と、ケイブ氏は述べています。

Google開発チームのケイティ・シーバー氏は、「Look to Speak」のようなコミュニケーション支援ツールが重要なのは現時点で障害を持つ人々に限らないと指摘。人々は誰もが事故や病気で何らかの障害を抱えるリスクがあり、手術などで一時的に発話することができなくなるケースもあるため、このような支援ツールは幅広い人々にとって役立つと主張しました。

「Look to Speak」はGoogle Playからダウンロードすることが可能であり、Android 9.0以上を搭載したデバイスに対応しているとのことです。

Look to Speak - Google Play のアプリ
https://play.google.com/store/apps/details?id=com.androidexperiments.looktospeak