Google製スマートフォンのPixel シリーズはディスプレイをタッチする指の動きをどうやって正確に判別しているのか？

スマートフォンの多くがタッチディスプレイを採用しており、指を使って直感的な操作を可能としています。しかし、タップ・ダブルタップ・ロングタップ・ピンチイン・ピンチアウト・ドラッグ・フリックなど、指による操作といってもその種類はさまざまであり、スマートフォン側でどのような操作が行われたのかを正しく判別する必要があります。Google製スマートフォンのPixelシリーズは2020年3月に行われたアップデートで、タッチ操作の判別精度を向上しましたが、いったいどのようなシステムが追加されたのかを、GoogleのAndroid UXチームの研究員が解説しています。

Google AI Blog: Sensing Force-Based Gestures on the Pixel 4
https://ai.googleblog.com/2020/06/sensing-force-based-gestures-on-pixel-4.html

スマートフォンのタッチディスプレイに多く使われている静電容量方式のタッチセンサーは駆動電極と検出電極、そしてその間に挟まれているガラスなどの非導電性誘電体で構成されています。駆動電極と検出電極の1つ1つは極めて小さく、組み合わさると電荷を保持する小さなコンデンサのセルを形成します。そこに導電性の指が近づくと電荷の一部が放出され、わずかに静電容量が低下するため、指で触った場所を感知できるというのが静電容量方式の原理です

静電容量方式のタッチセンサーのセルはディスプレイ上にびっしりと並んでいますが、それでもディスプレイのピクセルよりもはるかに目が粗くなってしまいます。たとえば、Pixel 4のディスプレイ解像度は2280ピクセル×1080ピクセルですが、タッチセンサーは32セル×15セルです。

以下の画像をクリックすると、左からタップ時、長押し時、フリック時のタッチセンサーセルからの読み取り値を可視化したGIFアニメーションを見ることができます。細かい動きに差はありますが、やはりタッチセンサー感度の解像度が粗く、各種ジェスチャーを正しく判別するのが難しいケースもあります。

この「正しいジェスチャーをどうやって判別するか？」という問題の解決策として、「タッチ時の圧力」が注目されています。しかし、タッチ時の圧力を感知するために必要なハードウェアセンサーは設計と導入で非常にコストがかかる上に、人間にとってタッチ時の圧力を緻密に制御することは非常に困難であり、これまでスマートフォンへの導入は見送られてきました。

静電容量方式のタッチセンサーは、圧力そのものの変化には反応しませんが、ディスプレイから数ミリメートル以内の指との距離の変化にきわめて敏感に反応するように調整されています。つまり、指でディスプレイ上をタッチしていると、タッチしている場所の中心付近のセンサは飽和しますが、指でタッチしている場所の周囲は高いダイナミックレンジを保持します。

指に力を加えてディスプレイをぐっと押すと、指の肉が変形して広がります。この変形の性質はユーザーの指のサイズと形状、および画面に対する角度によって異なり、さらには指の動きや軸、圧力によって動的に変化します。つまり、静電容量方式のタッチセンサーで指の肉の動きを読み取って解析することで、ユーザーが指にかける圧力や動きを間接的に感知できるというわけです。

そこでGoogleは、動的な変化を解析して分類する機械学習アルゴリズムを設計しました。Googleが設計したジェスチャー分類モデルのアーキテクチャ概要が以下で、センサーで観測された信号のうち、空間的特徴に注目する畳み込みニューラルネットワーク(CNN)と、時間的特徴に注目する回帰型ニューラルネットワーク(RNN)を組み合わせたモデルとなっています。

このジェスチャー分類モデルは、長押しやほとんど力を加えない状態での長押し、タップ、スクロール、ドラッグなどの入力データセットでトレーニングされました。このモデルは2020年3月のPixel feature drops第2弾でPixelシリーズに導入され、静電容量方式でも従来より正確にジェスチャーを判別できるようになったとのこと。

GoogleのAndroid UXチームは「機械学習アルゴリズムと慎重なインタラクション設計の統合によって、Pixelユーザーにより表現力豊かなタッチ体験を提供することができました。私たちは、Pixelのタッチ体験を洗練させ、新しいタッチ操作を探求するために、これらの機能の研究と開発を続けていく予定です」と語りました。