脳波を文章に変換するAIが開発中

「他人の心を読む」という超能力は、さまざまな小説や映画に登場しています。そんな「心を読む」という超能力を現実にするような、「脳に差し込まれた電極で検出した脳波を文章に変換する」というAIをカリフォルニア大学サンフランシスコ校の研究チームが開発しています。

Machine translation of cortical activity to text with an encoder–decoder framework | Nature Neuroscience
https://www.nature.com/articles/s41593-020-0608-8

Scientists develop AI that can turn brain activity into text | Science | The Guardian
https://www.theguardian.com/science/2020/mar/30/scientists-develop-ai-that-can-turn-brain-activity-into-text

てんかんの治療では、「脳の表面や脳内部に電極を埋め込む」という治療法が採られるケースがあります。研究チームはこの治療が行われ、脳に電極が埋め込まれたてんかん患者4人に被験者となってもらい、「電極で検出した脳波から文章を生成する」という実験を行いました。

この実験は、脳波をモニターされた被験者に、「ティナ・ターナーはポップシンガーです」「泥棒が30個の宝石を盗みました」などの短文50個を声に出して複数回読み上げてもらい、検出された脳波を機械学習アルゴリズムを使ったAIで文字列に変換するというもの。実験開始時点ではAIは意味のない文章を生成したそうですが、読み上げてもらった文章と生成された各単語の羅列を比較することによって、精度が改善されたとのこと。

被験者によって生成される文章の精度は異なりましたが、ある参加者の場合は全体の3％しか修正する必要のない文章が生成されました。このニュースを報じたガーディアン紙によると、人間の速記者が書き起こした文章でも全体の5％ほどは誤りを含んでいるので、この結果はかなり精度が高いといえるとのこと。ただし、AIの分析の対象となった文章は50個の短文に限られており、これらの文章以外を解析しようとすると精度はさらに悪くなるそうです。

また、生成された文章はときには大きく間違っていました。「Those musicians harmonise marvellously(その音楽家たちは素晴らしいハーモニーを奏でます)」という文章を「The spinach was a famous singer(そのほうれん草は有名な歌手です)」としてしまったり、「A roll of wire lay near the wall(壁の近くにワイヤーが一巻き置かれていた)」を「Will robin wear a yellow lily(ロビンは黄色いユリを着るでしょうか)」としてしまったりしたとのこと。

今回の研究の筆頭著者であるジョセフ・マキン氏は、「我々が作成したAIは英語の一般的な文法を認識し、脳の活動から単語を特定すると同時に、特定の文章に関する学習を組み合わせて、文章を生成していると考えられます」「まだまだ遠い道のりですが、文章を自動で書き出す装置の基礎になればいいと考えています」と語りました。

今回の研究結果を受けて、脳神経インターフェイスに機械学習技術を適用させる実験を行っているマーストリヒト大学のクリスチャン・ヘルフ博士は、「文章を声に出して読み上げられる被験者を用いているため、文章を読み上げられない障害を持つ患者に適用することはできません」と指摘。しかし、「この種の研究は、通常は数百万時間もの実験を要します。しかし、今回の研究では、被験者1人あたりの実験時間は40分未満であり、各文章の読み上げ回数も限られていました。そのことを考えると、今回の結果は刺激的です」と述べて、研究成果を高く評価しました。