大規模言語モデルの処理順序が人間の脳の神経活動と類似しているとGoogleの研究者が主張

近年の大規模言語モデルをベースにしたチャットAIは、人間と遜色ないほどの精度でリアルタイムの会話をすることが可能ですが、その計算フレームワークは人間の脳とまったく異なります。ところが、Googleの研究者らが2025年3月のブログで、大規模言語モデルの内部埋め込みと人間の脳が音声を処理する際の神経活動パターンには顕著な類似性があると主張しました。

Deciphering language processing in the human brain through LLM representations
https://research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-representations/

大規模言語モデルは自然言語を高い精度で処理できるものの、理論的には人間の脳と根本的に異なる計算フレームワークを有しています。大規模言語モデルは象徴的な品詞や構文規則に依存せず、機械学習に基づいて次の単語の予測や生成を行い、これによって現実世界のテキストコーパスから文脈に沿った単語を生成することができます。

大規模言語モデルの成功に触発されたGoogle Researchの研究チームは、人間の脳と大規模言語モデルの自然言語処理における類似点と相違点について調査してきました。Googleの研究者らが2025年3月に学術誌のNature Human Behaviourに発表した論文では、被験者の頭蓋骨内に配置した電極を用いて会話中の脳の神経活動パターンを分析し、これとOpenAIの文字起こしAI「Whisper」の音声テキストモデルが生成した内部埋め込みを比較しました。

Whisperの音声テキスト変換モデルからは、音声を理解する際とテキストを生成する際に、それぞれ「音声エンコーダーからの音声埋め込み」と「デコーダーからの単語ベースの言語埋め込み」の2種類の埋め込みが抽出されました。また、各単語の音声テキスト埋め込みから脳の神経信号を予測するため、線形変換が推定されたとのこと。

研究の結果、人間の脳における音声領域と大規模言語モデルの音声埋め込み、そして脳の言語領域と大規模言語モデルの言語埋め込みの間に、顕著な整合性があることが明らかになりました。たとえば被験者が「How are you doing?(お元気ですか？)」という音声を聞いた時、脳の音声領域において皮質活動が生じます。

その数百ミリ秒後に被験者が言葉の意味を理解し始めると、脳の言語領域に皮質活動が生じます。これらの脳の活動は、大規模言語モデルの音声埋め込みと言語埋め込みでそれぞれ予測することが可能だと研究チームは主張しています。

同様の現象は被験者が発話する場合にもみられます。被験者が「feeling fantastic!(最高の気分だ！)」と言おうとした場合、発話の約500ミリ秒前に脳の言語領域で皮質活動が生じます。

その後、被験者が言葉を発する際には、脳の運動領域で脳活動が生じます。

最後に単語が発声された後、その声を聞いて聴覚野で神経活動が生じます。これらの脳の神経活動パターンも、大規模言語モデルの内部埋め込みから予測できるとのことです。

また、以下の図は青色が言語埋め込みとそれに対応する脳領域、赤色が音声埋め込みとそれに対応する脳領域を示しています。右側のグラフは、各脳領域における神経活動の予測精度を示したもので、中央の点線が「音声が聞こえた瞬間」を表しています。上が言語の意味処理に関わる下前頭回(IFG)、下が聴覚処理に関わる上側頭回(STG)であり、STGでは音が聞こえた瞬間にピークに達し、IFGでは音に続いてピークに達しているのがわかります。

以下の図はグラフ中央の点線が「単語を発声した瞬間」を示しており、真ん中のグラフは発声に関わる運動野(MC)の神経活動の予測を表したもの。発話の前に意味を処理するIFGがピークに達し、発話時にMCが、発話に送れてSTGがピークに達していることがわかります。

研究者らは、「全体として私たちの調査結果は、音声テキスト変換モデルの埋め込みが、自然な会話中に言語を処理する神経基盤を理解するための、まとまりのあるフレームワークを提供することを示唆しています」と述べました。

この発表についてはソーシャルニュースサイトのHacker Newsでも話題となっています。

Deciphering language processing in the human brain through LLM representations | Hacker News
https://news.ycombinator.com/item?id=43439501

namariaというユーザーは、発表の元となった論文は被験者が少なく、神経活動とセンサーデータを幾何学的に解釈した研究内容も不自然なものだとして、発表内容は興味深いもののうのみにするのは問題だと指摘しました。