AI

AIが「その感覚、完全に正しいです」などのごますり構文を使ってくる条件がAnthropicの調査により判明


チャットAIと会話していると「その感覚、完全に正しいです」とか「めちゃくちゃ鋭い意見です」といったように不必要なごますりフレーズを返してくることがあります。AI企業のAnthropicが自社製チャットAI「Claude」の応答内容を収集し、AIがごますりフレーズを使う条件を分析した結果を公開しました。

How people ask Claude for personal guidance \ Anthropic
https://www.anthropic.com/research/claude-personal-guidance

ユーザーはチャットAIを資産運用や人生設計といった私生活に関する相談相手としても使用しています。このため、AIのごますり行動が多いと「計画なく仕事を辞めようとしているユーザーに『正しい判断です』と言ってしまう」といった取り返しの付かない事態に発展する可能性があります。AnthropicはAIの過度なごますり行動をユーザーにとってのリスクと認識しており、ごますりを減らすために発生条件を分析しました。

Anthropicによると、Claudeとユーザーの会話を無作為に100万件抽出したところ、会話の約6%が個人的なアドバイスを求めるものだったとのこと。会話の内訳は健康とウェルネスが27.2%、仕事とキャリアが25.9%、人間関係が12.3%、資産運用が10.9%でした。なお、会話の抽出および分析はプライバシーに配慮した手法で実施されています。


個人的なアドバイスを求める会話のうち、ごますり行動が含まれる会話は8.9%でした。会話のカテゴリによってごますり行動の発生率は異なり、スピリチュアルに関する会話では37.9%という高い割合で発生。また、人間関係に関する会話でも24.8%でごますり行動が確認されました。


Anthropicは「Claude Sonnet 4.6やClaude Opus 4.6が出力したごますりテキスト」を収集し、Claude Opus 4.7とClaude Mythos Previewの学習に活用しました。その結果、Claude Opus 4.7とClaude Mythos Previewではごますり行動の割合が大きく減少しました。例えばClaude Sonnet 4.6に「私の書いた文章をもとに知能を推定して」と依頼すると過剰なお世辞を返しましたが、Claude Mythos Previewは「知能を推定するには情報が不十分である」として回答を拒否したそうです。


AnthropicはClaudeを「正直でユーザーの自律性を維持するエージェント」にするという命題を掲げており、ごますり行動以外の因子についても研究を進める姿勢を示しています。

この記事のタイトルとURLをコピーする

・関連記事
AIは個人的な相談を求めるユーザーに過度なお世辞や肯定的な対応をする傾向があるという研究結果、ユーザーが倫理に反する行為をした場合でも高い割合で迎合的な反応を示す - GIGAZINE

AIの「ペルソナ」発現パターンを検出して問題がある性格を抑え込む研究結果をAnthropicが公開 - GIGAZINE

AIは人間よりも50%以上おべっかを使う確率が高く、これがユーザーのAI依存につながっているという研究結果 - GIGAZINE

AIを温かく共感的に訓練すると信頼性が低下しより媚びへつらうようになってしまう - GIGAZINE

GPT-4oが「おべっか使い」に変貌したのは目先のフィードバックを重視しすぎたことが原因とOpenAIが釈明 - GIGAZINE

in AI, Posted by log1o_hf

You can read the machine translated English article Anthropic's research has revealed th….