INSIDE: LLMS’ INTERNAL STATES RETAIN THE POWER OF HALLUCINATION DETECTION

本文是LLM系列文章，针对《INSIDE: LLMS’ INTERNAL STATES RETAIN THE POWER OF HALLUCINATION DETECTION》的翻译。

摘要

知识幻觉引起了人们对部署的LLM的安全性和可靠性的广泛关注。之前在检测幻觉方面的努力已被用于logit级不确定性估计或语言级自一致性评估，在这些评估中，语义信息在标记解码过程中不可避免地会丢失。因此，我们建议探索LLM内部状态中保留的密集语义信息，以进行特征检测（INSIDE）。特别是，提出了一种简单而有效的特征分数度量来更好地评估响应的自一致性，该度量利用响应协方差矩阵的特征值来衡量密集嵌入空间中的语义一致性/多样性。此外，从自洽幻觉检测的角度来看，探索了一种测试时间特征裁剪方法来截断内部状态中的极端激活，这减少了过度自信的产生，并可能有利于过度自信幻觉的检测。对几种流行的LLM和问答（QA）基准进行了广泛的实验和消融研究，表明了我们的建议的有效性。

1 引言

2 幻觉检查的背景

3 方法

4 实验

5 相关工作

6 结论

测量LLM生成的幻觉程度对于提高基于LLM的AI系统的安全性和可靠性至关重要。这项工作提出了一个INSIDE框架，利用LLM内部状态中保留的语义信息进行幻觉检测。具体而言，提出了一种简单而有效的特征分数来衡量嵌入空间中不同生成之间的语义一致性。此外，为了识别那些被以前的方法忽视的自洽（过度自信）幻觉，引入了一种特征裁剪技术，通过截断极端特征来减少过度自信的产生。在几个流行的LLM和QA基准测试中取得了显著的性能改进。尽管我们的实验