Googleが視覚障害者の代わりに「目」となって周囲の情報を的確に伝えてくれるアプリ「Lookout」を発表

世界中には視覚障害を患う人がなんと2億5300万人以上もいるそうで、そんな人々がより安全安心に日常生活を送れるようにするため、Googleが周囲の環境を検知して物体の存在を知らせたり、文字を読んだりしてくれるアプリ「Lookout」を発表しました。

Lookout: an app to help blind and visually impaired people learn about their surroundings
https://www.blog.google/topics/accessibility/lookout-app-help-blind-and-visually-impaired-people-learn-about-their-surroundings/

Lookoutを使う場合、アプリをインストールした端末は首から下げたストラップや、シャツのポケットに入れるなどして身につけるようにする必要があります。アプリを開いてモードを選択すると、Lookoutはカメラが映した環境内に存在する重要なアイテムを処理します。例えば以下のような場所の場合、出口標識があり、近くの足元には椅子があることを音声で知らせてくれます。Lookoutはユーザーが自分自身の活動に夢中になれるように、最小限の指示で使用できるように設計されているそうです。

アプリには「Work ＆ play」「Home」「Scan」「Experimental」という4つのモードが用意されており、家にいる時は「Home」、文章を読み上げて欲しい場合は「Scan」、仕事中や外出時は「Work ＆ play」といった具合に、時と場合によってモードを使い分けることができます。例えば「Home」の場合、ソファーやテーブル、食器洗浄機の位置などを教えてくれます。位置は「ソファーは3時の方向です」といった具合に、ユーザーの正面からどの方向にあるかまで正確に伝えてくれる模様。Lookoutは機械学習を用いているので、ユーザー数および使用数が多くなればなるほど、より正確にユーザーの求めていることを知らせることができるようになります。

加えて、Lookoutのコアエクスペリエンスは端末内で処理されるため、インターネット接続なしでもアプリを使用することが可能。

実際に視覚障害者がLookoutを使用している様子は以下のムービーで見ることができます。

Announcing the Lookout app - YouTube


「この新しい経験にとても興奮していました」と語るのは、生まれつき視覚障害を患っていたというマイヤ・スコットさん。映画や美術の講師として働いている人物です。

そんなスコットさんの目の前には地面にヒモで何かの模様のようなものが描かれており……

その中を人々が歩いています。

「私の視界は印象派の絵画のように見えるので、頻繁に日用品を扱うことはためらわれます。ハサミが見つけられないんです」と語るスコットさん。

しかし次の瞬間、機械音声が「ハサミは12時の方向です」と通知してくれ、無事地面のハサミを取ることに成功。

「アーティストとしても教師としても、迷路を作ることは私にとって次のステップになります。なぜなら、人々を招待し、アートを通して身体的な体験を提供できるということは、単に観察する以上の経験になるからです」と語るスコットさん。

目の前を歩き周る人々は、視覚障害を持つスコットさんが自分の手で作り上げた迷路の中を歩いていたのでした。この迷路を作る際に、Lookoutに手助けしてもらったようです。

視覚障害を持つスコットさんは、実際に見る代わりに耳で聴いたり鼻でにおいをかいだりすることで知覚します。

ラベンダーの香りをかぎ、胸元にぶら下げたスマートフォンをコンコンと叩くと、Lookoutが「ラベンダーが12時の方向にあります」と通知。Lookoutの登場でこれまで以上に周辺環境に関する情報を詳細に得られるようになり、視覚障害者の日々の活動はより多様化していくことになるのかもしれません。

なお、Lookoutは2018年後半にリリース予定です。