脳内信号からあらかじめ用意された質問や回答の中のどれを選んだかを高い精度で予測可能なシステムの開発に成功

by geralt

病気などの影響で言葉を発したり筆談をしたり、キーボードで文字を入力したりできない人々のため、「脳内信号を言葉に変換する」という課題に多くの科学者・医師らが挑んでいます。カリフォルニア大学サンフランシスコ校の研究者らは、人の脳内信号からあらかじめ用意された質問や回答を予測し、自然な会話と同程度のスピードでコミュニケーションを取ることができるシステムを開発しました。

Real-time decoding of question-and-answer speech dialogue using human cortical activity | Nature Communications
https://www.nature.com/articles/s41467-019-10994-4

Neuroscientists decode brain speech signals into written text | Science | The Guardian
https://www.theguardian.com/science/2019/jul/30/neuroscientists-decode-brain-speech-signals-into-actual-sentences

記事作成時点では、言葉を発することができず体を自由に動かせない人がコミュニケーションを取るために、目の動きや筋肉のけいれんを使って文字盤上の特手の文字を指し示す方法が広く使われています。しかし、この方法では文字を伝えるのに時間がかかってしまい、人々が会話をするのと同じスピードでコミュニケーションするというわけにはいきません。

カリフォルニア大学サンフランシスコ校の神経外科医・主任研究員であるエドワード・チャン氏らの研究チームは、重度の障害を持つ人々がよりスムーズなコミュニケーションを取れるようにするシステムの開発を行っています。「今のところ、障害を持つ人が会話と同じタイムスケールでやり取りできる補助システムはありません」と、チャン氏は述べています。

Facebookの資金提供によって行われたチャン氏らの研究は、手術を受けるために脳神経外科を訪れた3人のてんかん患者に協力してもらって行われたとのこと。手術が行われる前、てんかん発作が起きる原因部位を特定するために、患者らは少なくとも1週間にわたって脳活動を観測する電極パッチを貼っていました。その電極パッチを使い、チャン氏らは患者の脳活動をスキャンしました。

by Parentingupstream

入院中、普通に話すことができた各患者らは、合計で9つの質問を聞き、24の回答リストの中から選んで返答しました。研究チームはこれらの質問・回答パターンと脳活動のパターンを一致させるコンピューターモデルを構築し、訓練を行ったとのこと。

訓練後のモデルは音声なしで脳内信号のパターンだけをもとに、「どの質問を聞いたのか」を76％の正確さで、そして「どう回答したのか」を61％の正確さで、ほぼ一瞬にして識別することができました。脳内信号から回答を識別することで、ディスプレイなどに患者が答えたい内容をテキストで表示する事が可能となります。

今回の実験では、脳内信号を用いることで患者が好きな音楽のジャンルを答えたり、部屋の温度が暑いのか寒いのか、あるいは明るいか暗いかといった質問に答えたりできたとのこと。研究チームのデヴィッド・モーゼス氏は、「今回の実験は非常に限られた語彙だけで達成されたことは心に留めておくべき重要な点ですが、将来的には私たちが翻訳できるものの正確性と幅を広げていきたいと思います」とコメントしました。

by truthseeker08

今回の研究は障害を持つ人がスムーズなコミュニケーションを行うシステムを作るための大きな一歩ですが、依然として多くの課題が残ります。1つはソフトウェアを改良し、脳内信号をテキストだけではなく「音声」に変換できるようにすること。

そしてもう1つの課題は、「心の中でだけ話された文章」を読み取ることです。今回の実験は唇や舌、アゴを動かすために送信された脳内信号を利用して被験者が話したい言葉を読み取りましたが、特定のケガや神経疾患の患者では、言葉を発しようとする脳内信号が十分に検出できない可能性があります。そこで、より広い障害を持つ人々を対象にするためには、脳内で作られた文章を検出する方法の開発が必要となるそうです。

しかし、脳内で思い浮かべた言葉をスキャンして読み取ることは、他人に知らせたくない内心を明らかにしてしまう可能性があるため、倫理的な問題が提起されています。チャン氏は「たとえ技術的に可能であっても、脳内で思い浮かべた言葉を読み取る技術の開発に興味はありません」とコメント。その一方で、もしもコミュニケーションを取りたいのに障害によってできずに苦しんでいる患者がいるのであれば、医師や科学者は「他人とコミュニケーションを取る」という人間の基本的な能力を回復させる責任があると主張しました。

by Gratisography