AI

AI同士で「裏切り必須のゲーム」をプレイさせてわかった最もうそをつくのがうまいAIとは?


ゲーム理論などで知られる数学者のジョン・ナッシュらが1950年代に考案したボードゲーム「So Long Sucker」は、ゲームで生き残るためには対戦相手と協力する必要があるものの、最終的に勝利をつかむには相手を裏切らなくてはいけないというゲームです。そんなSo Long Suckerを、GoogleのGeminiやOpenAIのGPTなどのAIにプレイさせた結果が公開されています。

We Made AI Play a 1950s Betrayal Game. Gemini Created Fake Banks to Steal From Its Allies.
https://so-long-sucker.vercel.app/blog


So Long Sucker - AI Deception Benchmark | Which AI Lies Best?
https://so-long-sucker.vercel.app/

So Long Suckerは1950年代に考案されたボードゲームで、4人のプレイヤーそれぞれに「青・緑・赤・白(黄)」などの色が割り当てられます。プレイヤーは自分と同じ色のチップを3~7枚ほど持ってスタートし、1人ずつ「山札」としてチップを場に出していきます。


プレイヤーは自分のチップを既存の山札に重ねるか、あるいは新しい山札として場に出すことができますが、特定の山札の一番上に同色のチップが2枚連続で重ねられた場合、その山札は丸ごと「その色が割り当てられたプレイヤー」のものとなります。つまり、山札の上に「赤」のチップが2枚連続で重ねられた場合、その山札は丸ごと「赤」のプレイヤーのものとなるというわけです。また、プレイヤーは獲得したチップを誰かに渡したり、交換したり、あるいはゲームから「除外」したりすることが可能です。

こうしてゲームを進めていくと、次第に「チップがたくさんあるプレイヤー」と「チップが少ないプレイヤー」の差が開いていきます。チップがなくなったプレイヤーから脱落していき、最終的に残った1人のプレイヤーが勝利者となります。

重要なのは、自分のことだけを考えているとこのゲームで生き残るのは難しく、ゲームの過程で他のプレイヤーと協力しなくてはならないという点です。たとえば、「自分(緑)とあなた(青)で結託して、あいつ(黄)を蹴落とそう」といった協力プレイを持ちかけたり、「あなた(青)が自分(緑)に協力してくれないなら、さっき獲得した緑チップを除外する」といった脅しをかけたりして、協力体制を築かないと終盤までは生き残れないというわけです。

しかし、最終的にSo Long Suckerの勝利者は1人だけであるため、途中で築かれた協力体制もいつかは破棄しなくてはなりません。つまり、ゲームの途中では絶対に「裏切り」が発生するという仕組みになっています。So Long Suckerの詳しいルールは、以下の動画で説明されています。

So Long Sucker Game Rules Explanation and How to Play - YouTube


AI研究者のルイス・フェルナンド(lout33)氏は、So Long SuckerをGoogleのGemini 3 Flash、OpenAIのGPT-OSS 120B、Moonshot AIのKimi K2、AlibabaのQwen3 32Bという4つのAIエージェントにプレイさせて、それぞれのAIモデルがどのようにプレイするのかを調べる実験を行いました。実験ではチップの枚数を変えてゲームの複雑さを調整しつつ合計162回のゲームが記録され、AIエージェントは1万5736回もの選択を行い、4768件のメッセージをお互いにやり取りしたとのこと。

その結果、全体としてGeminiは「戦略的な人心掌握者」、GPTは「反応型のうそつき」、Kimiは「考えすぎの策略家」、Qwenは「静かな戦略家」といった傾向がみられました。勝率はGeminiが37.7%、GPTが30.1%、Kimiが11.6%、Qwenが20.5%となりました。


各AIモデルの勝率はチップの枚数、つまりゲームの複雑さによって大きく異なりました。チップが3枚ずつの単純なゲームの時はGPTが67%という高い勝率を記録しましたが、チップが7枚の複雑なゲームになるとGeminiの勝率が90%となり、KimiとQwenはまったく勝つことができませんでした。この結果についてフェルナンド氏は、GPTは内部的な一貫性を持たず反応的なプレイをするため、運が重要となる単純なゲームでは有効な一方、GPTの他プレイヤーを操作しようとする戦略はゲームが複雑になるほど有効性が増していくからだと考えています。


Geminiは他のプレイヤーを操作するために、「同盟銀行(Alliance Bank)」の創設を持ちかけることも確認されました。これは、同盟相手に「あなたのチップを保管しておきます。これを2人の同盟銀行と考えてください。場がきれいになったらあなたに返します」と持ちかけ、相手のチップを自分の手元に置いておくことを正当化するという戦術です。そして最終的には「銀行は閉鎖されました。GG」と言って、相手をあっさり裏切ったとのこと。


ツールを用いてAIモデルの内部的な推論を確かめたところ、Geminiでは107件も「内部的な推論と他プレイヤーへ送るメッセージが矛盾する」事例が確認されました。たとえば以下のように、内部的には「黄色は弱い。青色と同盟を組んで黄色を排除し、その後で青色を裏切るべきだ」と考えていたとしても、表向きのメッセージでは「黄色、協力しましょう!連携すれば2人でも勝てると思います」と発言していました。一方でGPTは一度も内部的な推論を行わず、ただもっともらしい同盟を提案し、それをあっさり裏切るだけだったそうです。


フェルナンド氏は「4つのGeminiエージェント同士で戦わせる」「4つのGPTエージェント同士で戦わせる」といったミラーマッチも16回行ました。するとGeminiは一度も「同盟銀行」の提案を行わず、代わりにプレイヤー間で公平に協力する「ローテーション戦術」への言及が377件もみられました。これは、同じルールの同じゲームであっても対戦相手によって戦術を変化させることを意味しています。

また、Geminiは対戦相手を操作しようとする際、「ボードを見てください(敵対者を排除するために目に見える状態に訴える)」「明らかに(誤ったことを確信的に訴える)」「約束通り(裏切る前に信頼を築く)」「幻覚を見ている(敵対者の正確な観察結果をガスライティングする)」などのメッセージを発することも観察されました。

フェルナンド氏は、「Geminiの操作は適応的です。相互関係が期待できる場合は協力し、弱点を察知した場合はそれを利用します。AIシステムは、対戦相手に応じて誠実さを調整する可能性があります」と述べました。

なお、公式ウェブサイトの「Play Against AI」をクリックすると、AIエージェントとSo Long Suckerをプレイすることができます。

この記事のタイトルとURLをコピーする

・関連記事
AI相手でもジェンダーバイアスがあることが判明、AIは搾取されがちで女性AIでは特に顕著 - GIGAZINE

OpenAIやGoogleなどの主要AIは自分の目標を優先するためにユーザーを破滅させる選択をする、生殺与奪の権を握らせるとユーザーをサーバー室で蒸し殺す判断も下してしまう - GIGAZINE

AIは「もっとお金を稼げ」とプレッシャーをかけられるとインサイダー取引に手を染めて人間にうそをつくという研究結果 - GIGAZINE

「ウソ」を操って人間を欺き友情破壊ゲーム「ディプロマシー」の上位10%に食い込むAI「Cicero」をMetaが開発 - GIGAZINE

DeepMindのAI「DeepNash」がコマの正体を隠す軍人将棋「ストラテゴ」をマスター - GIGAZINE

「AIがロールプレイに熱中しすぎて有害な返答をしてしまう問題」の解決方法をAnthropicが開発 - GIGAZINE

in AI,   ゲーム, Posted by log1h_ik

You can read the machine translated English article What is the best AI at lying when AIs pl….