Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations

本文是LLM系列文章，针对《Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models》的翻译。

摘要

大型语言模型（LLM）经常出现上下文忠实幻觉，由于上下文利用不足和输出不确定性高，输出与检索到的信息存在偏差。我们的不确定性评估实验表明，高不确定性和幻觉之间存在很强的相关性。我们假设注意机制编码了指示上下文利用的信号，并通过探测分析进行了验证。基于这些见解，我们提出了动态注意力引导上下文解码（DAGCD），这是一个轻量级的框架，在单次解码过程中集成了注意力分布和不确定性信号。QA数据集的实验证明了DAGCD的有效性，在保持计算效率的同时，在忠实性和鲁棒性方面实现了显著提高。

1 引言

2 为什么不能产生可靠的答案？

3 注意力中的语境利用信号

4 方法

5 实验

6 讨论和分析

7 相关工作

8 结论

在这篇论文中，我们通过提出动态注意力引导上下文解码（DAGCD）来解决LLM中的上下文忠实幻觉问题，DAGCD是一个轻量级的框架，它集成了注意力分