脳にインプラントを埋め込み「手書き文字を想像するだけ」で文字を出力することに成功

体にまひがある人の脳にインプラントを埋め込んで、「考えるだけ」でタイピングを行ったり、ロボットアームを操作したりといったことを可能にする技術が開発されています。新たに研究チームがNatureに発表した研究では、「頭の中でイメージした手書き文字」を実際にコンピューター画面上で出力することに成功。これにより、手足が動かせない人のコミュニケーションが促進されると考えられています。

High-performance brain-to-text communication via handwriting | Nature
https://www.nature.com/articles/s41586-021-03506-2

Neural implant lets paralyzed person type by imagining writing | Ars Technica
https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/

実際に「考えるだけ」で手書き文字が出力される様子は、以下のムービーから見ることができます。

BCI handwriting - YouTube


アメリカのハワード・ヒューズ医学研究所に在籍するクリシュナ・シェノイ氏ら研究チームは、首から下がまひで動けない患者と共に実験を行いました。

シェノイ氏は患者に対して、「紙を前にペンを持っている様子」を想像してもらい、想像上の紙とペンで文字を書くよう指示しました。患者の脳にはインプラントが埋め込まれており、そのインプラントが想像で文字を書く時の活動を検知。アルゴリズムがそれぞれの文字の活動パターンをデコードして出力するという仕組みです。

これが実際に出力されている画面。質問に対して患者が頭の中で文字を書き、その電気信号が文字として画面に表示されています。

実験では1分間に90文字が出力されました。研究チームはこれまでに、キーボードを患者の前に表示し、文字をタイピングしてもらうという実験に成功しています。しかし手書き文字の場合、タイピングの2倍の速度で文字を表示させることが可能でした。

実験において、研究チームは患者の運動前野に2つのインプラントを埋め込んだとのこと。運動前野は運動の実行に関与する大脳皮質として知られており、運動前野での「意図」を検知することは、運動そのものを検知することよりも明確な信号を生み出せる可能性が高いと研究者は考えたそうです。

2つのインプラントには合計で200個の電極が設置されていましたが、これら全ての電極が手書き文字の検知に役立ったわけではありません。しかし、いくつかの電極は電気信号をキャッチしており、研究者は文字ごとに異なる信号の特徴を特定しました。1つの文字に対する活動はクラスター化されており、「p」と「b」、あるいは「h」と「n」のように形が似た文字は、近いクラスターが形成されることも示されたとのこと。

結果として、あらかじめ準備されていた手書き文字を出力する精度は94％ほど。また自由な質疑応答の場合、速度が少し低下し1分あたり75文字の出力となり、自動補整後のエラー率が2％増加しましたが、全体として許容範囲内だったそうです。

なお、今回開発されたシステムは実験段階のものであり、「プロトタイプですらない」と研究者は述べています。被験者は1人だったため、他の人がどのくらいシステムを使用できるかは不明とのこと。一方で、このシステムは以前のインプラント駆動型システムに比べて大きな速度改善があり、精度も優れており、ユーザーの対話をよりスムーズにする可能性があると考えられてます。