Why Language Models Hallucinate

论文总结与翻译

一、主要内容总结

本文聚焦大型语言模型（LLMs）的“幻觉”问题，从统计视角剖析其产生根源与持续存在的原因，并提出缓解思路。

1. 核心问题界定

“幻觉”指模型在不确定时猜测生成看似合理却错误的内容，而非承认不确定性，这一问题在最先进的模型中仍普遍存在，严重削弱了用户信任。

2. 幻觉产生的两大阶段原因

（1）预训练阶段：统计误差的自然结果

• 预训练本质是密度估计问题，模型学习训练语料的语言分布。即使训练数据无错误，模型优化的交叉熵目标也会导致误差——生成有效输出比判断输出有效性（Is-It-Valid二进制分类问题）更难，生成错误率与IIV分类错误率存在数学关联：生成错误率≥2×IIV分类错误率。
• 关键误差因素包括：无规律的“任意事实”（如罕见生日）、模型表达能力不足（如n-gram模型难以处理长依赖）、计算复杂性、分布偏移及“垃圾进垃圾出”（训练数据含错）等。

（2）后训练阶段：评估体系的反向强化

• 主流评估（如准确率、通过率）采用二进制评分，对“不知道”（IDK）等不确定响应零分，鼓励模型猜测——类似学生考试时蒙答案以最大化分数。
• 即使存在专门的幻觉评估，其影响力远不及主导排行榜的传统评估，导致模型持续生成过度自信的幻觉内容。

3. 缓解思路