GPT-5のような大規模言語モデルがなぜ幻覚を起こしてしまうのかをOpenAIの研究チームが論文で発表

大規模言語モデルはまるで人間が書いたような自然な文章を生成できるAIですが、事実に基づかない情報やもっともらしいウソをまるで本当のことのように述べる「幻覚(ハルシネーション)」という現象を起こすことがあります。ChatGPTを開発したOpenAIの研究者が、言語モデルがハルシネーションを起こす原因について分析した論文を新たに発表しました。

Why Language Models Hallucinate
(PDFファイル)https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf

Why language models hallucinate | OpenAI
https://openai.com/index/why-language-models-hallucinate/

論文では、ハルシネーションが発生し、そして根強く残る原因を、言語モデルの訓練における2つの段階、すなわち事前学習と事後学習(評価)の観点から説明しています。

事前学習では、モデルは膨大なテキストデータから次の単語を予測するよう訓練されます。このプロセスでは、データに含まれる記述が正しいかどうかのラベルは与えられず、流暢な言語のパターンを学習します。スペルのような明確な規則性を持つパターンは大規模なデータから正確に学習できますが、特定の個人の誕生日といった、他に手掛かりのない偶発的な事実はパターンから予測することが困難。このような予測が難しい情報に対して、モデルは誤った出力を生成しやすくなります。

事前学習で生まれたハルシネーションの種は、その後の事後学習やファインチューニングで取り除かれるべきですが、実際は事後学習を経てもモデルにハルシネーションは残存しています。ハルシネーションが事後学習を経ても根強く残る原因は、現在行われている評価方法にある、とOpenAIの研究チームは論じています。

多くの評価ベンチマークは、正答率のような二元的な指標を用いてモデルの性能を測定します。言語モデルは「分かりません」と答える(棄権する)と評価が下がるため、不確実な場合でも推測して何かを答えることが有利になります。これは、多肢選択式の試験で分からない問題を白紙で提出すれば0点が確定する一方、推測で答えれば偶然正解する可能性がある状況と似ています。この「不確実でも適当に答えなければならない状況」が、ハルシネーションを生成する可能性を高めているとのこと。

実際にOpenAIが示した例では、旧モデルのOpenAI o4-miniは正答率が24％であるのに対し、ハルシネーション率は75％でした。一方で、gpt-5-thinking-miniは正答率が22％とわずかに低いものの、問題の棄権率が52％と高く、結果としてハルシネーション率は26％まで大幅に低減させています。

OpenAIの研究チームは、ハルシネーションに特化した新たな評価指標を追加するだけでは不十分だと主張しています。なぜなら、主流の評価指標の大部分が推測を促す限り、その影響力が勝ってしまうためです。

そのため、根本的な解決策として、広く使われているベンチマーク自体の採点方法を修正することを提案しています。具体的には、不正解に対してペナルティを課したり、「わかりません」と適切に不確実性を表明した回答に部分点を与えたりすることで、モデルが正直に不確実性を認めることを奨励するべきだと研究チームは論じました。

例えば、「正解は1点、『わかりません』という回答は0点です。ただし、不正解の場合はt/(1-t)点のペナルティが課されるため、tを超える確率で正解できると確信している場合のみ回答してください」という指示を評価の各質問に加えます。ここでいうtは予測に対する信頼度の閾(いき)値です。このようなルールを設定することで、モデルは自身の予測の信頼度と、指示された閾値tを比較します。そして、自信が閾値に満たない場合は、ペナルティを避けるために無理に回答せず、「わかりません」と棄権することが最も合理的な戦略となります。

研究チームは、上記のような新しい採点ルールを、MMLUやSWE-benchといった既存のベンチマークに直接組み込むことで、開発者がハルシネーション抑制を真剣に目指す強力な動機付けになると主張。また、信頼度の閾値をプロンプトで明示的に指定することで、評価の客観性が保たれると述べました。