「人間はAIをうまく使いこなせているのか？」を検証する指標「AI Fluency Index」をAnthropicが公表

人類はAIを生活に取り入れていますが、全員が上手に使いこなせているわけではありません。AIツールの「Claude」を開発するAnthropicが実施した調査では、AIの使い方が人によって異なることが明確になっています。

Anthropic Education Report: The AI Fluency Index \ Anthropic
https://www.anthropic.com/research/AI-fluency-index

AIユーザーには、AIが出力した答えをそのまま信じる人もいれば、AIに指示し直したり別のルートで情報を検証したりしてブラッシュアップを試みる人もいます。Anthropicは、こうしたAIに対する人間の行動の柔軟さ、すなわち「流暢性(fluency)」を検証する指標として「AI Fluency Index」という概念を作り上げ、ユーザーの行動を追跡する調査を行いました。

AnthropicはAIを使う際に人間が取ると考えられる24の「流暢性」行動をリストアップしました。そして、Anthropicのウェブサイト「Claude.ai」で2026年1月の7日間に行われた9830件の会話を分析。24項目の行動のうち13項目はClaude.aiの外で行われる行動だったため追跡できず、会話を残りの11項目に振り分けてどの行動が多いのかを調べました。

結果は以下の通りです。緑色は「説明」、紫色は「委任」、桃色は「判断」のテーマに当たると定義されています。

反復して改善する 85.7％
助けを求める前に目標を明確にする 51.1％
良い状態の例を示す 41.1％
必要な形式や構成を指定する 30％
対話モードを設定する 30％
口調や文体の好みを伝える 22.7％
AIに文脈が不足している可能性を特定する 20.3％
成果物の対象読者を定義する 17.6％
AIの推論が妥当でない場合に疑問を呈する 15.8％
実行前にアプローチについてAIに相談する 10.1％
重要な事実や主張を確認する 8.7％

データの中で最も顕著な傾向のひとつは、反復と改善と、他のすべてのAI流暢性行動との関連性です。サンプル内の85.7％の会話では、最初の回答を受け入れて新しいタスクに移るのではなく、以前のやり取りを基に作業を洗練させる「反復と改善」が見られました。これらの会話では、他の流暢性行動の発生率も大幅に高くなっています。

平均すると、反復と改善を含む会話では、追加で2.67回の流暢性行動が見られました。これは、反復と改善を含まない会話の平均1.33回の約2倍です。特に、Claudeの出力を評価する行動において顕著でした。反復と改善を行う会話では、ユーザーがClaudeの推論を疑う可能性が5.6倍高く、欠けている文脈を特定する可能性は4倍高くなっています。

サンプルの12.3％の会話では、コード、文書、インタラクティブツールなどの成果物が生成されていました。これらの会話では、「説明」や「委任」というテーマに分類される行動が大幅に増加しました。たとえば、成果物を生成しない会話と比較して、目標を明確にする行動、形式を指定する行動、例を提示する行動、反復する行動が増加しています。つまり、作業の初期段階でAIに対してより具体的に方向づけを行っているのです。

しかし、この指示性の高さは、評価や識別力の向上とは一致していません。むしろ逆であり、成果物が作成される会話では、欠けている文脈を特定する可能性、事実確認を行う可能性、モデルの推論を説明させる可能性が低下しています。

このことについてAnthropicは「Claudeが完成度の高い、機能的に見える成果物を生成しているため、追加で疑問を呈する必要がないと感じられている可能性があります。見た目が完成していれば、そのまま完成品として扱われるかもしれません。あるいは、ユーザーが独自にコードの実行やテストをしたり、同僚に共有したりするなど、Claude.aiの外で何かしらの検証をしているのかもしれません」と分析しました。

Anthropicはこれらの項目を「AI協働の状況を示すベースライン指標『AI Fluency Index』」として確立し、将来的に変化するAIモデルに伴う人間の行動の進化を追跡する基盤として採用することを発表しました。