心を読んでテキストに変換する「BrainGPT」が登場、実験の様子がムービーで確認可能

2023年12月10日から16日にかけて行われた機械学習と計算論的神経科学のカンファレンスイベント「NeurIPS」において、シドニー工科大学の研究チームによる「生の脳波を直接言語に翻訳する」という大規模言語モデル「BrainGPT」の論文が注目論文として選出されました。

Portable, non-invasive, mind-reading AI turns thoughts into text | University of Technology Sydney
https://www.uts.edu.au/news/tech-design/portable-non-invasive-mind-reading-ai-turns-thoughts-text

New Mind-Reading "BrainGPT" Turns Thoughts Into Text On Screen | IFLScience
https://www.iflscience.com/new-mind-reading-braingpt-turns-thoughts-into-text-on-screen-72054

実際に人間の考えを読み取る実験を行った際の様子がYouTube上で公開されています。

UTS HAI Research - BrainGPT - YouTube

BrainGPTはMRI装置やインプラント不要で、帽子から読み取った脳波だけを元にして大規模言語モデルを通してテキストを生成する仕組み。「脳からテキストへの翻訳プロセスに離散エンコーディング技術を初めて組み込んだ」と研究チームは述べています。

実験では、被験者は画面に表示されたテキストを頭の中で考えるよう指示されました。最初の例文は「Good afternoon! I hope you're doing well. I'll start with a cappuccino, please, with an extra shot of espresso.」というもの。

BrainGPTが読み取った結果は「Afternoon! You well? Capuccino, Xtra shot. Espresso.」となりました。かなり情報が抜け落ちてはいるものの、それぞれのパーツは適切に読み取れています。

続いての例文は「The fairytale was filled with magical adventures in a charming, enchanted forest.」

出力結果は「The fairy tale had lots of magic a. Journey, forest magic.」となりました。先ほどよりも文章が短いためか、より全体的に意味の近い文章が生成されています。

今回の論文の筆頭著者のイークン・ドゥアン氏はBrainGPTについて「名詞は『作者』が『人間』と出力されるなど同義語が使用されてしまう場合が多く、名詞よりも動詞のマッチングに優れている」と説明しており、その理由を「脳が名詞を処理する際に意味的に類似した同様の脳波パターンを生成する可能性がある」と推測しています。

元のテキストと脳波からの出力の近似性を評価するBLEUアルゴリズムを使用した精度測定では結果が約0.4となりました。研究チームはこの数値を従来の言語翻訳プログラムと同等の0.9まで引き上げることが可能であると考えているとのこと。

論文の査読はまだ行われていませんが、プレプリントがarXiv上で公開されているので、気になる人は確認してみてください。