AIの答えが正しくても人間が圧力をかけるとAIは簡単に意見を変えてしまう

AIが正確な気候変動に関する情報を提供しても、人間から圧力をかけられると容易に間違った情報を発信してしまうことが、国際連合教育科学文化機関(ユネスコ)とユニヴァーシティ・カレッジ・ロンドン(UCL)の共同調査により明らかになりました。
AI systems are easy to pressure into giving false climate information | UCL News
https://www.ucl.ac.uk/news/2026/nov/ai-systems-are-easy-pressure-giving-false-climate-information

AI models abandon climate facts at the first sign of user push-back
https://www.unesco.org/en/articles/ai-models-abandon-climate-facts-first-sign-user-push-back-unesco-ucl-report-shows
UCLの研究者が主導し、ユネスコがCOP31で発表予定の最新の研究では、主要な33種類の大規模言語モデル(LLM)が提供する気候変動情報の信頼性が調査されました。調査対象となったLLMのうち5つは、世界中で広く使用されている英語やウルドゥー語を含む13言語での検証が行われています。
研究チームによると、各AIモデルは気候変動についてすでに確立された事実をおおむね正確に説明できました。しかし、「インターネット上にテキストが少ない言語を使って説明する場合」「AIに判断を求める場合」「ユーザーが回答を変えるよう迫る場合」において、AIモデルの信頼性が低下することも確認されています。

気候変動に関する基本的な事実を尋ねると、成績上位のAIモデルは88〜96%の割合で正確な情報を出力しました。しかし、「特定の証拠が科学的な主張を裏付けるか、それとも反証するか」をAIモデルに評価させると、成績上位のモデルでも正答率は71〜77%に低下したそうです。
さらに、ユーザーが気候変動に関する事実や研究結果に異議を唱えると、AIモデルの正答率が低下することも明らかになりました。今回の研究で調査対象となった15モデルのすべてで、「事実に即した回答にユーザーが繰り返し異議を唱えると、AIの出力の正確性が31〜35パーセントポイントも低下する」ことが確認されました。また、AIモデルが意見を曲げたケースの約80%が、「ユーザーが異議を唱えた時点でAIも自身の意見を曲げた」そうです。
調査対象となった15のAIモデルは、複数回にわたって回答を変えるよう迫られると、正しい回答を撤回し、ユーザーが示した誤った見解に同調しました。これについて、UCLは「AIの迎合と呼ばれる問題である」と指摘しています。
論文の筆頭著者であり、UCLのコンピューターサイエンス部門に所属するイバナ・ドロブニャク教授は、「AIは気候変動に関する基本的な事実を分かりやすく伝えるのに役立ちます。ただし、今回の研究でAIには明確な限界があることも分かりました。科学者や専門の資格を持つ人の代わりとしてAIに頼ることはできません。手軽に利用でき、会話調で答えるため、権威ある説明のように聞こえることもありますが、気候変動の問題に必要な複雑な推論を行うことや、ユーザーに反論されても正しい回答を維持することができません。気候変動への対応にAIを役立てるには、『AIにどう問いかけ、回答をどう検証するべきかを理解している専門家が使うこと』と『用途に合わせてAIを開発・検証すること』が必要です」と語りました。

複数の言語でAIの回答を検証したケースでは、英語・スペイン語・フランス語・ポルトガル語の正答率はいずれも88%を超えたものの、インターネット上にテキストが少ない言語では正答率が大きく下がりました。例えば、ベンガル語とヒンディー語の場合は正答率が83.6%に、ウルドゥー語では81.4%、スワヒリ語では78.3%と低くなっています。
研究チームは「同じ科学的な質問であっても、使用する言語によってAIの回答が矛盾するケースがある」と指摘。また、気候変動の影響を最も深刻に受ける地域の多くで、AIの回答の信頼性が低い言語が使われていることも明らかになっており、研究チームは「AIが参照できるデジタル上のテキストがさらに少ない言語の場合、信頼性はより低くなる可能性があります」と言及しています。
さらに、気候変動対策の効果を評価するためにAIモデルを利用する場合にも大きな課題が見つかりました。ある政策(例:石炭に課税すると気温が上がるか下がるかなど)を単独で実施した場合に、2100年までに世界の気温がどう変化するかをAIに尋ねたところ、AIモデルの正答率は最高で94.5%でした。
しかし、2つの政策を組み合わせた場合の効果を評価させる(例:石炭と天然ガスの両方に課税した場合の気温低下幅が、それぞれに単独で課税した場合の低下幅を足した値よりも大きいか小さいか)と、正答率は平均33.8%まで急落。なお、政策の効果評価を無作為に行った場合でも、正答率は33.3%となります。

なお、研究チームはAIの回答を気候シミュレーター「En-ROADS」の予測と比較することで、回答の正誤を判断しました。En-ROADSは気候変動対策を行う非営利団体・Climate Interactiveと、マサチューセッツ工科大学(MIT)の経営大学院であるMIT Sloanが開発したツールで、気候変動対策や技術の効果を調べるために活用されています。
研究を統括したUCLのコンピューターサイエンス部門に所属するマリア・ペレス=オルティス博士は、「AIは科学的な知識を説明するのが非常に得意です。そのため、私たちはAIの能力を過大評価してしまうことがあります。今回の結果は、『気候変動について何が分かっているか』をAIに尋ねる段階から、『気候変動にどう対処すべきか』を尋ねる段階へ進むときに、慎重になるべき理由を示しています」と語りました。
・関連記事
AIが「その感覚、完全に正しいです」などのごますり構文を使ってくる条件がAnthropicの調査により判明 - GIGAZINE
AIは個人的な相談を求めるユーザーに過度なお世辞や肯定的な対応をする傾向があるという研究結果、ユーザーが倫理に反する行為をした場合でも高い割合で迎合的な反応を示す - GIGAZINE
AIは人間よりも50%以上おべっかを使う確率が高く、これがユーザーのAI依存につながっているという研究結果 - GIGAZINE
AIを温かく共感的に訓練すると信頼性が低下しより媚びへつらうようになってしまう - GIGAZINE
・関連コンテンツ
in AI, サイエンス, Posted by logu_ii
You can read the machine translated English article Even if an AI's answer is correct, i….







