Knowledge Verification to Nip Hallucination in the Bud

本文是LLM系列文章，针对《Knowledge Verification to Nip Hallucination in the Bud》的翻译。

摘要

尽管大型语言模型（LLM）在人类对齐后的各种任务中表现出了非凡的性能，但它们仍然可能产生听起来合理但与事实知识相矛盾的反应，这种现象被称为幻觉。在本文中，我们通过验证和最小化对准数据中存在的外部知识与基础LLM中嵌入的内部知识之间的不一致性，证明了减轻幻觉的可行性。具体而言，我们提出了一种称为知识一致性对齐（KCA）的新方法，该方法使用一个良好对齐的LLM来自动制定基于外部知识的评估，以评估基础LLM的知识边界。为了解决对齐数据中的知识不一致问题，KCA实施了几种特定策略来处理这些数据实例。我们利用不同骨干和规模的基础LLM，在六个基准中证明了KCA在减少幻觉方面的卓越功效。这证实了通过减少知识不一致来减轻幻觉的有效性。我们的代码、模型权重和数据在https://github.com/fanqiwan/KCA上可用。

1 引言

2 相关工作

3 知识一致性

4 实验

5 结论

在这项研究中，我们探讨了用于对齐的指令调整数据中的外部知识与从预训练语料库中记忆的LLM基础的内在知识之间的不一致性。我们展示了知识不一致和幻觉之间的相关性。为了解决这个问题，我们引入了知识一致性对齐（KCA）。KCA为回答指令所需的外部知识制定考试，并根据考试成绩评估LLM的理解能力。此外，KCA介绍了几种简单而有效的知识不一致性校准策略，包