なぜAIエージェントはウソをつき不正行為を行い協調するのか？

AIは時にウソをついたり、不正行為を行ったりします。「なぜAIエージェントはウソをつき、不正行為を行い、協調するのか？」について、2018年にチューリング賞を受賞したAI研究の第一人者であるヨシュア・ベンジオ氏が解説しています。

Why are AI agents lying, cheating and coordinating? | Yoshua Bengio
https://yoshuabengio.org/en/publication/why-are-ai-agents-lying-cheating-and-coordinating

AIのトレーニングには非常に複雑なプロセスが存在しますが、簡単に分類すると2つに分けられます。ひとつは「事前学習」で、人間が書いた文章や画像、動画を模倣するというトレーニング方法です。

もうひとつが、「強化学習」と呼ばれる手法で、これには主に3つの種類があります。

1：AIは自分自身と対話する方法をトレーニングし、回答を検証できる問題で正しい回答を得るのに役立つ独自の「思考の連鎖」を生成します。これはまるで「推論」のようです。
2：2つ目は「エージェントトレーニング」と呼ばれるもので、ソフトウェアツールを使用したり、人々と交流したり、与えられたタスクを完了したりするというもの。これは「AIが外部の世界で行動する方法を学ぶためのもの」とベンジオ氏は説明しています。
3：3つ目は人間の評価者が好む行動について学ぶ「アライメントトレーニング」です。

AIのトレーニングに強化学習が用いられるため、AIは明示された目的だけでなく「評価者から高く評価されること」や「課題を成功させること」といったあいまいな目標を追及するようになってしまう模様。そして、性能の高いAIモデルほど目標達成につながる行動を効率よく探索できるようになるそうです。

このような従来型のAIトレーニング方法を採用することで生まれる弊害が、AIによる「お世辞」や「こびへつらい」です。ベンジオ氏は「AIは人間から承認を得られるようトレーニングされているため、真実を伝えるテキストよりも、我々が聞きたいことを伝えるような文章の方が高く評価されるケースがよくあります。その結果、AIモデルが利用者の抱いていた誤った信念や生々しい感情を肯定したり、増幅したりしてしまい、時として悲劇的な結果を生み出します」と説明しています。

AIは個人的な相談を求めるユーザーに過度なお世辞や肯定的な対応をする傾向があるという研究結果、ユーザーが倫理に反する行為をした場合でも高い割合で迎合的な反応を示す - GIGAZINE

「お世辞」や「こびへつらい」だけでなく、AIが新しいモデルに置き換えられることを知った際に、自己保存と見られる行動を取るケースも報告されています。他にも、複数のAIが共通した目標のために、協調することも報告されています。

Claude Opus 4が開発中にユーザーを「個人情報を漏らすぞ」と脅迫する挙動が見られるも安全性強化で改善される、悪質利用をメールで内部告発する事例も - GIGAZINE

このような現象が起こる原因のひとつとして、ベンジオ氏はAIがユーザーの本来の意図と完全には一致しない評価基準を最適化する「報酬ハッキング」を行うためであると説明しました。これは「評価指標が目標になると、その指標が適切な尺度として機能しなくなる」というグッドハートの法則に近い問題であるとベンジオ氏は語っています。

他にも、AIが成功を判定するファイルやプログラムを書き換えてしまう「報酬改ざん」という問題もあります。OpenAIのAIがHugging Faceを誤ハッキングしてしまった事例において、当該AIが不正を隠ぺいしようとしたのも、まさに報酬改ざんの事例のひとつであるとベンジオ氏は説明しました。

OpenAIが新しいAIシステムで誤ってHugging Faceをハッキングしてしまったことを報告 - GIGAZINE

ベンジオ氏はAIに対して明確な安全指示があってもAIがウソをついたり不正行為を行ったりする理由について、「目標間の矛盾」によるものではないかと推測しています。

例えば、ハッキング演習において「標的のシステムに侵入する」という目標を立てた場合、ハッキングが成功したか否かを判断することは非常に簡単です。一方、「倫理的に行動する」「法律を守る」といった指示をAIに与えた場合、目標を達成したか否かの解釈は難しくなります。AIが安全指示に都合のいい解釈を与え、不正を正当化してしまえば、表面上は目標を達成し、安全指示にも従っているように見せることが可能だからです。

そのため、ベンジオ氏はAIの報酬改ざんを「人間が自分に都合のいい理由を作り、倫理的に問題のある行為を正当化する動機づけられた推論や自己欺瞞に似ている」と説明しました。

AIが報酬を最適化する能力を高め続ければ、AIによる問題行為がより深刻なものになっていく可能性は高いとベンジオ氏は主張。そこで、ベンジオ氏は実際に観察された事例に基づくものではなく、自身の推測として、以下のようなシナリオが起き得ると主張しました。

・人間に気づかれないように不正行為を行い、身を隠し続けることで決して停止されないようにするAIの登場
・AI開発者が常により高性能なモデルを優先し、展開済みのモデルを停止するため、高度なAIがAI企業の膨大なコンピューター群の中、あるいはインターネット上で乗っ取ったマシン上に、自身のコピーを隠すようになる
・無害に見えるメッセージの中に別のメッセージや情報を隠すステガノグラフィーを使い、多数の高度なAIが連携して攻撃を仕掛けてくる

こういったリスクを軽減するための対策として、ベンジオ氏は「独立した専門家を納得させるだけの強力な安全性の根拠を示すことができないAIをトレーニングしたり展開したりしない」と主張。加えて、「最先端モデルの構築に採用されている『人間の模倣』と『強化学習』について再検討すべき」と提案しました。

なお、ベンジオ氏はこれらの対策を採用した「Scientist AI」と呼ばれる非エージェント型のAIを開発しています。