手話を自動翻訳する手袋「SignAloud」を大学生が開発

手話の手の動きを読み取って解析することで、手話による会話を翻訳して音声で流せるという手袋「SignAloud」を、ワシントン大学の学生が開発しています。

UW undergraduate team wins $10,000 Lemelson-MIT Student Prize for gloves that translate sign language | UW Today
http://www.washington.edu/news/2016/04/12/uw-undergraduate-team-wins-10000-lemelson-mit-student-prize-for-gloves-that-translate-sign-language/

These Students Built A Glove That Translates Sign Language Into English | Fast Company | Business + Innovation
http://www.fastcompany.com/3059616/

SignAloudは、ワシントン大学で経営学と航空宇宙工学を学んでいるトーマス・プライヤーさんとナビド・アゾジさんが開発したもの。手首の部分と指1本1本にセンサーや制御機器を搭載していて、ワイヤレスで使うことができるデバイスです。

SignAloudをはめて手話を話すと自動的に翻訳が行われる様子は、以下のムービーで見ることができます。

SignAloud: Gloves that Transliterate Sign Language into Text and Speech - YouTube


手にSignAloudをはめているのがプライヤーさん。

プライヤーさんがアメリカ式手話で話すと、「僕はトーマスです。隣にいるのはナビド。僕たちはLemelson-MITの学生コンペティションに参加した発明家です」と、手の動きに合わせてスピーカーから英訳文が流れます。

SignAloudの開発当初のプロトタイプは厚紙と糸で作られたもので、次に作られた布製のプロトタイプは、製作費はおよそ100ドル(約1万1000円)だそうです。アゾジさんは7歳までほとんど言葉が話せなかったため、幼少期にコミュニケーションに障壁があったという経験を持っています。アゾジさんは大学でプライヤーさんと出会い、大学で学んだ工学技術を用いてSignAloudを開発することになったそうです。アゾジさんは「コミュニケーションは人間の基本的人権です」と語っています。

SignAloudの装着方法は、一般的な手袋と同じように手にはめるだけ。

SignAloudには手の動きをキャプチャーするセンサーが埋め込まれていて、X・Y・Z座標を元に、1本1本の指の位置や動きを認識。Bluetooth経由でデータがコンピューターへ送られ、手話の動きをコンピューターが認識・翻訳して、手話に対応する英語がスピーカーから流れるという仕組みになっています。

プライヤーさんは、「既にいくつもの手話翻訳装置が開発されていますが、映像入力を使用したり、腕や体全体を覆う大がかりな装置を使ったりと、日常生活で毎日使えるようなものではありません」とコメント。「SignAloudは軽くて持ち運ぶ事もでき、使うときは手にはめるだけです。補聴器やコンタクトレンズと同様に、毎日手軽に使うことができるデバイスです」とプライヤーさんは語っています。

アゾジさんは、「手話を使って話している人たちは、手話で非常にすらすらと話すことができます。SignAloudは手話話者の会話を英語に翻訳するためのツールではなく、手話話者と英語話者の間の障壁を壊してコミュニケーションのかけ橋となるツールだと位置づけています」と語っています。しかし、手話は独自の文法構造を持っているため、SignAloudではまだ全てのアメリカ式手話の動きを把握できていないとのこと。

SignAloudはLemelson-MITの学生コンペティションで入賞し、2人は賞金1万ドル(約111万円)をゲットしています。今後は外部から得た批評をもとにして、SignAloudがより深い手話の文脈を理解できるように改良を行う予定とのこと。また、SignAloudの開発と並行して、2人は大学の試験のための勉強も行っているそうです。