Analyzing and Mitigating False Premise Hallucinations in Large Language Models

本文是LLM系列文章，针对《Whispers that Shake Foundations: Analyzing and Mitigating False Premise Hallucinations in Large Language Models》的翻译。

摘要

大型语言模型（LLM）已经显示出令人印象深刻的功能，但仍然存在幻觉问题。这一问题的一个重要类型是假前提幻觉，我们将其定义为LLM在面对假前提问题时产生幻觉文本的现象。在本文中，我们对假前提幻觉进行了全面的分析，并阐明了其内部工作机制：一小部分注意力头（我们称之为假前提头）干扰了知识提取过程，导致了假前提幻觉的发生。基于我们的分析，我们提出了一种新的、有效的减轻假前提幻觉的方法——FAITH（用于制造幻觉的假前提注意头约束）。它约束了模型推理过程中的假前提注意头。令人印象深刻的是，大量的实验表明，仅约束模型中约1%的注意力头会显著提高模型性能近20%。

1 引言

2 背景

3 数据构建

4 幻觉分析

5 幻觉缓解

6 相关工作

7 结论

在本文中，我们对一种重要的幻觉类型——假前提幻觉进行了全面的分析。我们的分析从模型的表面开始，并逐渐深入研究，最终揭示了虚假前提注意力的存在。基于我们的分析，我们提出了一种新的假前提