手話をスマホ経由で音声に変換できる手袋型デバイスが開発される

手や指の動きでさまざまな言葉を表現して会話する「手話」は、耳が聞こえない人が使うコミュニケーションツールの1つです。しかし、手話でのコミュニケーションは手話を習得した者同士に限られてしまい、手話が使えない人とは会話ができません。そこで、手話を音声会話に変換するための手袋型デバイスをカリフォルニア大学ロサンゼルス校(UCLA)の研究者が発表しました。

Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays | Nature Electronics
https://www.nature.com/articles/s41928-020-0428-6

Wearable-Tech Glove Translates Sign Language into Speech in Real Time | UCLA Samueli School Of Engineering
https://samueli.ucla.edu/wearable-tech-glove-translates-sign-language-into-speech-in-real-time/

実際にどんな手袋なのかが一発でわかるムービーを、UCLA工学部が公開しています。

手袋型デバイスを装着し、パーの状態から指を動かし、すぐにまたパーに戻すと……

1秒ほどのタイムラグを挟んで、スマートフォンが「I」と発声。画面には指の形が表示されています。続いて指を動かすと……

スマートフォンが「L」と発声。指の形をキープしているのは1秒にも満たないほど短い時間ですが、しっかり認識できています。

続いて「Y」が認識され、最後に「I」「L」「Y」の指の形を混ぜた形に動かすと……

「I LOVE YOU」と表現されました。指の形を認識するのは一瞬ですが、スマートフォンに認識結果が表示されて音声が出力されるまでは、およそ1～2秒のラグがあるようです。

指の動きを認識するデバイスはこんな感じ。手に装着して手話を読み取るデバイスはこれまでにも開発されていますが、デバイスのサイズが非常に大きかったり高性能なPCが必要だったりしたため、日常生活の中で応用するには厳しいものがありました。しかし、UCLAの研究チームが開発したデバイスは、伸縮可能なセンサーが指の動きを読み取って電気信号に変換し、500円玉程度の回路基板でスマートフォンにワイヤレスで送信する仕組み。記事作成時点では1秒に1単語という変換速度ですが、従来のものに比べて軽量かつ安価で、さらに耐久性も期待できるとのこと。

また、研究チームはテスターの眉間から口角まで粘着センサーを追加することで、手話を行う上で非常に重要な「顔の表情」もキャプチャすることに成功したと報告しています。

UCLAはすでにこのデバイスに関する技術の特許を出願中。UCLA工学部のジュン・チェン准教授は、将来的に商用化するためには語彙(ごい)をさらに追加し、翻訳を高速化する必要があると述べ、「より多くの人々が手話を学ぶのに、このデバイスが役立つことを願っています」と語りました。