Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantificat...

文章总结与翻译

一、主要内容

该研究围绕大型语言模型（LLMs）的幻觉问题，构建了一个基于数学原理的统一框架，用于理解、量化和缓解幻觉现象。核心内容包括：

1. 幻觉分类：将幻觉分为内在幻觉（与输入上下文冲突）和外在幻觉（与外部验证源矛盾）两类，强调其在医疗、法律等高危场景中的风险。
2. 幻觉的数学根源：从三个维度解析幻觉成因——自回归误差传播（逐步积累的微小误差导致后续内容偏离事实）、KL散度衡量的分布不匹配（模型预测分布与真实分布差异）、正弦位置编码带来的相位效应（位置相位调制不确定性）。
3. 不确定性量化方法：提出多种精细化指标，包括校准误差（ECE）、蒙特卡洛 dropout 估算的认知不确定性、基于核语言熵（KLE）的语义不确定性，以及结合位置相位的振荡型不确定性。
4. 缓解策略：设计四类理论驱动的方法——相位正则化对比解码、检索增强接地（含 reciprocal rank fusion 融合策略）、事实感知对齐（训练中加入事实性正则项）、实时修正与弃权机制（生成后验证，低置信度时拒绝输出或重新生成），并整合为统一系统架构。
5. 系统架构：包含不确定性估算、相位正则化解码、检索接地、验证循环、训练对齐、自我反思修正六个核心环节，形成端到端解决方案。

二、创新点

1. 数学统一框架：首次融