Kinectを使用して音声と手話をリアルタイムで翻訳する技術をMicrosoftが開発中

By Jung-nam Nam

試着なしでピッタリのジーンズを選ぶことができたり、ウルトラセブンに変身できたり、さらには外科手術の現場で採用することで執刀医の作業負担を大幅に削減できたりと、さまざまな用途で活躍するジェスチャートラッキングシステムKinect。MicrosoftはこのKinectを使い、聴覚に障害をもった人のためにリアルタイムで手話を音声言語に翻訳したり、その逆を行うことが可能となる翻訳システム「Kinect Sign Language Translator」を開発中のようです。

Microsoft Research uses Kinect to translate between spoken and sign languages in real time - The Next Web
http://thenextweb.com/microsoft/2013/10/30/microsoft-research-uses-kinect-translate-spoken-sign-languages-real-time/

実際にKinectを使ってリアルタイムに手話の内容を翻訳している様子は、以下のムービーにて見ることができます。

Kinect and sign language translation - YouTube


Kinectは身振りをキャプチャーして、マシン学習とパターン認識プログラミングにより手話の意味を解釈、実際の言語翻訳はBingの翻訳技術が行います。このKinect Sign Language Translatorは、手話を音声に翻訳することも、音声を手話に翻訳することも可能です。

手話を行い……

Kinectがその動きをキャプチャーします。

そして手話が終わると音声と文字に翻訳してくれるというわけ。

文字を入力して……

「SEND」をクリック。

すると3Dモデルが文字の内容を手話で伝えてくれます。

さらには音声認識機能を利用して……

音声内容を翻訳して手話で表現。

現在は1つの単語に対する認識パターンを確立するために5人の人手が必要で、これまでのところ中国語手話の全体4000単語のうち300の単語を認識パターンとして追加しているようです。Kinect Sign Language TranslatorプロジェクトのプログラムマネージャーであるGuobin Wu氏は、データグローブやウェブカメラを利用して手話の翻訳を試みたあと、Kinectがこの翻訳作業に最適な端末であるとして採用されました。Wu氏は中国では聴覚に障害をもつ人が2000万人以上、世界中で3億6000万人以上いると見積もっており、この研究により世界中の多くの人々が救われることになるのでは、と考えているようです。