The Geometry of Truth: Layer-wise Semantic Dynamics for Hallucination Detection

你对这篇LLM幻觉检测论文的核心内容和创新点很关注，这个方向对提升模型可靠性至关重要。文章提出的Layer-wise Semantic Dynamics（LSD）框架，从几何角度分析模型内部语义轨迹，为幻觉检测提供了高效且可解释的新方案。

一、文章主要内容总结

1. 研究背景：大语言模型（LLMs）常生成流畅但事实错误的内容（幻觉），现有检测方法存在缺陷，如多轮采样效率低、依赖外部知识库、仅关注输出层忽略中间层信息。
2. 核心假设：事实性内容在Transformer层间的语义轨迹平滑收敛，与真实语义嵌入持续对齐；幻觉内容语义轨迹振荡发散，偏离真实语义。
3. LSD框架流程：
   • 提取模型各层隐藏状态；
   • 通过基于边际的对比学习，将隐藏状态与事实编码器生成的真实嵌入投影到统一语义空间；
   • 计算语义轨迹的对齐度、速度、加速度等几何指标；
   • 结合统计检验输出幻觉风险评分。
4. 实验结果：在TruthfulQA和合成数据集上，LSD的F1分数达0.92、AUROC达0.96、聚类准确率达0.89，优于SelfCheckGPT等基线，且仅需单次前向传播，比采样类方法快5-20倍。

二、文章创新点

1. 几何分析框架：首次将层间语义演化形式化为语义流形上的轨迹，用微分几何和统计物理指标量