Mars_prime的博客

语言模型 (LM) 通常很难对输入上下文给予足够的关注，并生成不忠实或包含幻觉的文本。为了缓解这个问题，我们提出了上下文感知解码（CAD），它遵循对比输出分布，放大了在有上下文和没有上下文的情况下使用模型时输出概率之间的差异。我们的实验表明，在没有额外训练的情况下，CAD 可以显着提高不同 LM 系列的忠实度，包括用于摘要任务的 OPT、GPT、LLaMA 和 FLAN-T5（例如，LLaMA 在事实性指标中提高了 14.3%）。

尽管大型语言模型（LLM）的能力令人印象深刻，但它很容易产生幻觉，即生成与预训练期间看到的事实不同的内容。我们提出了一种简单的解码策略，通过预训练的 LLM 来减少幻觉，不需要对检索到的外部知识进行调节，也不需要额外的微调。我们的方法通过对比将后面的层与前面的层投影到词汇空间所获得的逻辑差异，利用 LLM 中的事实知识通常被证明局限于特定的转换器层这一事实，来获得下一个标记分布。我们发现这种通过对比层解码（DoLa）方法能够更好地呈现事实知识并减少错误事实的产生。

大视觉语言模型（LVLM）的进步日益凸显了它们容易产生图像中不存在物体的幻觉这一关键问题。为了解决这个问题，以前的工作重点是使用专门策划的数据集或强大的 LLM（例如 GPT-3.5）来纠正 LVLM 的输出。然而，这些方法需要昂贵的培训/微调或 API 访问高级 LLM 来纠正模型的输出生成后。在本文中，我们通过引入一个名为“Mitigating幻觉通过无分类指导（MARINE）”的框架来应对这一挑战，该框架既无需训练，也无需API，可以有效且高效地减少生成过程中的物体幻觉。