LLMS KNOW MORE THAN THEY SHOW: ON THE INTRINSIC REPRESENTATION OF LLM HALLUCINATIONS

本文是LLM系列文章，针对《LLMS KNOW MORE THAN THEY SHOW: ON THE INTRINSIC REPRESENTATION OF LLM HALLUCINATIONS》的翻译。

摘要

大型语言模型（LLM）经常产生错误，包括事实不准确、偏见和推理失败，统称为“幻觉”。最近的研究表明，LLM的内部状态编码了有关其输出真实性的信息，并且这些信息可用于检测错误。在这项工作中，我们表明LLM的内部表示编码了比以前认识到的更多的关于真实性的信息。我们首先发现，真实性信息集中在特定的token中，利用这一特性可以显著提高错误检测性能。然而，我们发现，这种错误检测器无法跨数据集进行泛化，这意味着——与之前的说法相反——真实性编码不是通用的，而是多方面的。接下来，我们展示了内部表示也可以用于预测模型可能产生的错误类型，从而促进量身定制的缓解策略的发展。最后，我们揭示了LLM的内部编码和外部行为之间的差异：它们可能会对正确答案进行编码，但始终会产生不正确的答案。综上所述，这些见解加深了我们从模型内部角度对LLM错误的理解，这可以指导未来加强错误分析和缓解的研究。

1 引言

2 相关工作

3 更好的错误检测

4 任务之间的泛化

5 调查错误类型

6 检测正确答案

7 讨论和结论

在这项研究中，我们通过检查LLM的内部表征来分析LLM的错误。我们发现，与真实性相关的信息局限于确切的答案标记内，这是一个关键的见解，支持整篇论文中的各种分析，因为使用信号最强的标记会得出更可靠的结论。从实际角度来看，这一