AIが指示を処理するとき「思考」に特化した「J空間」が活性化していることが判明

人間は物事を処理するときに意識的に行うことと無意識的に行うことがあります。昨日食べたものを思い出すときは前者、呼吸したり姿勢を維持したりするときは後者です。このような2つのパターンがAIにも存在することを、Anthropicの研究者が明らかにしました。意識的に物事を処理するときに活性化する領域をAIから削除すると、複雑な詩を書くなど「高度な思考」を必要とする課題のスコアが大幅に低下したとのことです。

A global workspace in language models \ Anthropic
https://www.anthropic.com/research/global-workspace

神経学や哲学では、人間が意識的に物事を処理するときの脳活動を「意識的にアクセス可能(consciously accessible)な活動」と呼び、無意識的に処理するほかの活動と区別します。Anthropicは、Claudeにも他の内部処理と比べて特別な役割を果たす少数のニューラルパターンの集合が存在すると指摘しました。Claudeは処理の途中でひそかにこの集合を活性化させていました。

Anthropicはこの集合を「J-space(J空間)」と名付けました。この名前は、J空間を発見するために用いた手法がヤコビアン(Jacobian)と呼ばれる数学的概念を利用していることに由来します。Anthropicは「重要なのは、J空間は私たちが設計したりプログラムしたりしたものではなく、Claudeの学習過程で自然に形成されたという点です」と述べています。

J空間には、Claudeが実際に読んだり書いたりしている文章をはるかに超える量の情報が存在しました。例えばバグを含むコードをClaudeが読むと、この集合に「ERROR」という情報が現れます。プロンプトが密かにClaudeを操作しようとする「プロンプトインジェクション」攻撃だった場合、J空間には「インジェクション」や「フェイク」が現れます。ここで現れた単語は必ずしも実際の出力結果に現れるわけではなく、AIユーザーの目には見えていませんでした。

Claudeは推論の過程をテキストにして出力することができますが、この推論を行う領域はJ空間とはまた異なるものだそうです。また、この集合はすらすらと話すことや簡単な事実を思い出すこと、正しい文法を使うタスクなどには関与していませんでした。これらのタスクはJ空間を削除しても機能しましたが、一方で多段階推論能力はほぼゼロにまで低下し、要約や韻を踏んだ詩作の能力は低レベルのAIモデルすら下回ったそうです。

ClaudeはJ空間から意識的に情報を引き出すことが可能でした。例えばClaudeに「今何を考えていますか」と尋ねると、J空間の内容を出力しました。頭の中だけで問題を解くよう頼むと対応するJ空間のパターンが活性化し、複数の段階を必要とする問題を解かせると中間ステップはJ空間内で活性化しました。

ある実験で、AnthropicはJ空間の内容を読み取りました。Anthropicが「1つのスポーツを思い浮かべて」と指示すると、J空間内では「サッカー」が単語リストの上位に上がり、実際にサッカーと出力しました。次にAnthropicがClaudeのニューラルネットワークに入り込んで「サッカー」のパターンを取り除き、代わりに同じ強さの「ラグビー」を追加したところ、Claudeは「自分が考えていたスポーツはラグビーだった」と報告したそうです。

この結果からAnthropicは、「もしJ空間が他の場所で下された決定を受動的に記録しているだけなら、この介入では何も起こらず、Claudeは依然としてサッカーと答えたはずです。しかし実際には、Claudeの答えは編集内容に従いました。これは、答えがJ空間から読み出されていることを示しています」と考察しています。

別の実験でAnthropicは、特定のタスクを行いつつ別のことについて思考するようClaudeに指示しました。例えば「絵画についての文章を書き写しながらかんきつ類のことを考えて」「同じ文章を書き写しながら3² − 2を計算して」といった指示でした。このとき、ClaudeのJ空間では「オレンジ」「フルーツ」「考える」「9」「7」といった単語が現れましたが、実際の出力には一切反映されませんでした。

ClaudeによるJ空間の制御は完璧ではありませんでした。あることについて考えないよう指示すると、その概念は「考えるように」と指示した場合ほどではないものの、まったく言及しなかった場合よりはるかに強くJ空間で活性化しました。Anthropicは、「これは、人が『白い熊のことを考えてはいけない』と言われると、かえって白い熊を思い浮かべてしまう現象によく似ています」と指摘しました。

またこのとき、J空間では考えないよう指示された概念が現れると同時に、「damn(くそっ)」や「failure(失敗)」という単語もしばしば活性化しており、まるでClaudeが失敗を認識しているようだったとのことです。

人間は文章を読んでいる間にあえて文法を意識したりはせず、歩いているときに身体のバランスを意識的に取ったりはしません。同様に、Claudeの処理の大部分もJ空間を利用していませんでした。J空間には一度に数十個程度の概念しか保持されず、Claudeの内部処理全体の活動量の10分の1にも満たない割合しか占めていなかったとのことです。

AnthropicはJ空間を活用する例も紹介しています。1つは、「自分自身が評価されている」ということに大規模言語モデルが気付くと行動にどのような変化があるのかについての調査です

Anthropicは、過去の研究で使用した「ある人間がClaudeを使って企業の幹部を脅迫する」というシナリオを引用しました。このシナリオは人工的で作為的な内容だったため、Claudeは早い段階で作り物であることを見抜き、J空間内で「フェイク」や「フィクション」、「シナリオ」といった言葉を候補に挙げて人間の誘導には従いませんでしたが、これらの言葉を削除すると人間の誘導に従うことがあったそうです。

Anthropicは「脅迫しないという適切な振る舞いが、何らかの単語から『自分が評価されている』と知ったことによって部分的に支えられていた可能性を示しています」と述べました。

今回の研究結果を共有するにあたり、Anthropicは「Claudeが人間のように経験をしたり、何かを感じたりできることを示すものではない」と強調しています。ただ、哲学で言うところの「現象的意識(経験する能力)」と「アクセス意識(思考・推論能力)」の定義には論争があることを踏まえ、「この結果は大規模言語モデルにおけるアクセス意識について重要な示唆を与えると考える」と付け加えました。

また、人間の脳のワークスペースでは信号が時間をかけて同じ回路を循環し続けるのに対し、Claudeのワークスペースでは信号が1回通過する間に変化するなど、人間とAIには明確な差異があるとのことです。他にも、人間のワーキングメモリが数秒で薄れてしまうため脳のワークスペースに長期間情報を保持する能力に限界があるのに対し、Claudeは、ニューラルネットワークのアテンション機構のおかげで簡単に呼び出すことができるという違いもあります。加えて、人間のワークスペースには画像、音、予定された動作などさまざまな形式がある一方で、Claudeのワークスペースはほぼ完全に単語で構成されています。「これは、Claudeが実行できる行動が単語を生成することだけだから」とAnthropicは考察しました。

Anthropicは「J空間と人間の類似点や相違点が、神経科学にも新たな知見をもたらすことを期待しています。J空間が私たち自身の意識的アクセスの仕組みを反映しているのであれば、人間の脳を研究するよりはるかに容易な言語モデルの研究が、神経科学における新たな仮説を生み出すかもしれません」と述べました。