Large Language Models Hallucination: A Comprehensive Survey

该文章是一篇关于大型语言模型（LLMs）幻觉问题的综述，系统梳理了幻觉的定义、类型、成因、检测与缓解方法，同时分析了现有基准数据集、评估指标及未来挑战，为提升LLMs的真实性和可信度提供了全面参考。

一、文章主要内容总结

1. 幻觉的核心定义与类型

• 定义：LLMs生成的文本流畅且语法正确，但事实不准确或缺乏外部证据支持的现象，会损害模型在医疗、法律等需事实准确性领域的可靠性。
• 主要类型：
  • 按与源信息关系分为内在幻觉（输出与源文档事实矛盾，如将《傲慢与偏见》作者错写为“查尔斯·狄更斯”）和外在幻觉（输出包含源文档中不存在的信息，如额外添加“简·奥斯汀1797年完成手稿”）。
  • 按内容属性分为事实幻觉（与真实世界事实偏离，含矛盾和编造）和忠实性幻觉（与输入指令、上下文或逻辑不一致，含指令偏离、上下文忽略、逻辑矛盾）。

2. 幻觉的成因分析（覆盖LLM全生命周期）

• 数据收集阶段：训练数据存在偏见、重复、错误信息，或知识冲突、领域知识不足、信息过时、长尾知识缺失。
• 模型架构阶段：注意力机制在长序列中聚焦分散、最大似然估计（MLE）目标函数不惩罚事实矛盾、位置