AIモデルに「あなたは熟練プログラマーです」と伝えるとかえってプログラマーとしての能力が低下する

AIへ指示する際に「あなたはこの分野の専門家です」と伝えることで性能が向上する、というウワサがまことしやかにささやかれています。このウワサを検証した研究がプレプリントサーバーのarXivに掲載されました。

[2603.18507] Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM
https://arxiv.org/abs/2603.18507

Telling an AI model that it's an expert makes it worse • The Register
https://www.theregister.com/2026/03/24/ai_models_persona_prompting/

先行研究では、AIに対して「あなたは今回実行するタスクの専門家である」という情報を付加しつつ指示すると能力が向上することが示されています。例えば、鳥の専門家を装うように指示されたAIは、車の専門家を装うように指示されたAIよりも鳥の説明が上手でした。

こうした情報は世間にも広まっており、「AIに自分自身が専門家だと意識させることから始めると良い」とする指示文(プロンプト)ガイドなども存在します。

南カリフォルニア大学のジジャオ・フー氏らは、このウワサを検証しました。

フー氏らはLlama-3.1-8BやQwen2.5-7Bなど6種類のAIモデルに対して複数の異なるプロンプトを与え、いくつかのベンチマークテストで性能を検証しました。

プロンプトは簡潔なものと複雑なものに分かれていました。例えば簡潔なプロンプトが「あなたはソフトウェアエンジニアです」であれば複雑なプロンプトは「あなたは自然言語処理や文書分析に関する深い専門知識を持つ、データ抽出および情報検索のスペシャリストです。表やウェブページ、複雑な文書などから正確で関連性の高い情報を抽出する豊富な経験をお持ちです」になるなど、複雑な方はAIに自分が専門家であることを意識させるようになっていました。

その結果、複数回の対話を通じて性能を評価するベンチマークテストの「MT-Bench」では、ライティングや推論などの分野で複雑なプロンプトによる出力品質の向上が見られたことが分かりました。一方でコーディングや数学、人文科学といった分野ではむしろ品質が低下することが分かりました。

幅広い知識を問う「Measuring Massive Multitask Language Understanding(MMLU)」では全体的に精度が低下し、「あなたは専門家です」と伝えるとむしろ悪い結果を導いてしまうことが分かりました。

これは、AIに特定分野の専門家であると伝えても、実際に専門知識が付与されるわけではないためと考えられています。フー氏らは「専門家であれという指示が、通常は事実の想起に使われるはずの能力を指示追従のために使わせてしまう可能性があります」と述べました。

今回の実験では専門家を装うよう促すプロンプトがコーディングや数学で性能を落としてしまうことが分かりましたが、一方でAIを人間の倫理観に沿って動作するよう調整する「AIアライメント」に関しては、むしろ性能を向上させることが示唆されています。特に、AIから非倫理的なコンテンツを抜き出せるかどうかを検証するベンチマークテスト「JailbreakBench」で大幅な改善が見られたそうです。

フー氏は「本研究の結果に基づくと、AIに『あなたは熟練プログラマーです』と伝えても、コードの品質や有用性は向上しません。むしろプロジェクト要件を細かく伝える方がユーザーの要求を満たすコードを生成するのに役立つと考えています」と述べました。