超音波を使って声を発することなく会話ができるシステムが開発される

AI研究開発企業のAlephが、超音波で舌の動きを観測し、声を出さずに発話した内容を文章へ変換するシステムを開発しました。約50時間分のデータで学習させた初期試作ながら、自由な語彙を含む発話を単語誤り率15.6％で認識できたと報告されています。

Silent speech with ultrasound — Aleph
https://alephneuro.com/blog/silent-speech

人間がコンピューターへ情報を入力する場合、一般的に音声はタイピングより約4倍速いとされています。しかし、職場やカフェ、電車など周囲に人がいる場所では、音声入力の内容を他人に聞かれる可能性があるため、気軽に利用できないという問題があります。

Alephが開発したシステムは医療現場で超音波診断に使われる探触子(プローブ)を顎の下に当てて、口の底から舌へ向けて超音波を送ることで、発話時の舌の動きを映像として記録します。そして、機械学習モデルがこの超音波映像を解析し、対応する単語や文章を予測します。

以下のムービーを見ると実際に超音波を使って発話を記録する様子がわかります。


無言の発話を検出する方法としては、筋肉が発する電気信号を測定する筋電図やレーダー、読唇術なども研究されていますが、超音波は舌そのものを比較的鮮明に観察できるため、間接的な信号から動きを推測する必要がなく、外見からは発話していることがほとんど分からないという利点があります。また、音波をマイクで拾う仕組みではないため、周囲が騒がしい環境でも音声認識への影響を受けにくいというのも大きなメリット。

舌は英語の約40種類の音素のうち、およそ34種類を区別できる動きを形成するとされています。一方、映像から見分けられる唇の形は約10～14種類にとどまるため、舌の映像には読唇術よりも多くの音声情報が含まれているとAlephは説明しています。

Alephは学習用データとして、複数の被験者が合成された短編物語を読み上げる様子を超音波で撮影し、合計約50時間分を収集しました。単独の短いフレーズではなく物語を使うことで、被験者が自然な流れで読み続けられるとともに、幅広い語彙や文構造、冠詞や短縮形などをデータへ盛り込めるようにしました。

最終的な目的は無言の発話を読み取ることですが、データ収集時には文章を正しく読んだかどうかを確認しやすくするため、被験者に声を出して読んでもらいました。Alephが舌の映像を比較したところ、有声発話と無言発話では似た動きが見られたため、有声発話で収集したデータから無言発話にも対応するモデルを学習できると判断したとのことです。

モデルには、映像処理用のResNet-18 2+1dと、音声認識モデル「Whisper Base」が利用されています。まず舌の超音波映像を処理するエンコーダーの出力を、同じ発話音声を文字起こしAIモデル・Whisperのエンコーダーで処理した出力へ近づけるように学習させ、その後、Whisperの小型デコーダーを使って文章へ変換する仕組みです。

学習初期にはモデルが言語として自然な文章を推測するだけで、舌の動きを十分に利用しない問題が発生しました。しかし、学習サンプルが約2万件に達すると、「acoustic」を発音の近い「a key stick」、「hard」を「heart」と認識するようになり、映像信号から音の構造を学び始めたことを示す誤りが現れたとAlephは述べています。

データ追加やモデルの改善、複数の候補文を生成する処理、ビームサーチ、文章の長さを考慮した補正、LLMによる候補判定などを組み合わせた結果、話者をまたいだ自由語彙の内部検証で単語誤り率15.6％を達成しました。学習サンプルが1万5000件だった時点では単語誤り率が102％でしたが、5万件では15.6％まで低下しており、データを増やすことでさらに改善する余地があるとされています。

開発されたモデルは学習に参加していない人でも、アメリカ英語に近いアクセントであればプローブを手に取ってすぐ利用できたとのことです。一方、アメリカ英語以外のアクセントでは認識性能が低下するため、モデルをアメリカ英語以外に拡張するにはより多様な話者のデータを集める必要があります。

記事作成時点で、Alephの超音波プローブを使用したシステムはわずか約1カ月で開発された初期試作の段階で、一般向けに展開できるレベルではありません。超音波プローブの小型化と軽量化に加え、皮膚との間に塗る超音波ジェルをより扱いやすいハイドロゲルなどの素材へ置き換えるなどの課題が残るとAlephは述べています。