Alleviating Hallucinations of Large Language Models through Induced Hallucinations

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量566

点赞数 7

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135727072

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文提出了一种名为诱导然后对比解码（ICD）的方法，旨在解决大型语言模型（LLM）在生成内容时产生的不准确或捏造信息（幻觉）问题。ICD通过诱导幻觉并随后在解码过程中减弱这些幻觉来增强生成内容的真实性。实验证明，ICD可以有效提高LLM的真实性，例如，Llama2-7B-Chat和Mistral-7B-Instruction在TruthfulQA上的表现与ChatGPT和GPT4相当。

本文是LLM系列文章，针对《Alleviating Hallucinations of Large Language Models through Induced Hallucinations》的翻译。

摘要

尽管大型语言模型具有令人印象深刻的功能，但人们已经观察到它们会产生包括不准确或捏造信息的反应，这种现象通常被称为“幻觉”。在这项工作中，我们提出了一种简单的诱导然后对比解码（ICD）策略来缓解幻觉。我们首先通过从原始LLM中诱导幻觉来构建事实上较弱的LLM。然后，我们在解码过程中惩罚这些诱导的幻觉，以增强生成内容的真实性。具体来说，我们通过放大原始模型的预测并通过对比解码淡化诱导的不真实预测来确定最终的下一个表征预测。基于判别和基于生成的幻觉评估基准（如TruthfulQA和FACTSCORE）的实验结果表明，我们提出的ICD方法可以有效地提高各种模型大小和族的LLM的真实性。例如，当配备ICD时，Llama2-7B-Chat和Mistral-7B-Instruction在TruthfulQA上分别实现了与ChatGPT和GPT4相当的性能。

1 引言

2 相关工作

3 诱导然后对比度解码

4 实验

5 结论

这项工作介绍了一种用于减轻LLM中幻觉的解码方法，称为诱导然后对比解码（ICD）。考虑到直接增强LLM真实性的挑战，我们首先从LLM中诱导幻觉，然后在解码过程中从原始LLM的输出空间中减去它们。在基于判别和基于生成的基准上的实验结果表明，这种简单的方法有效地提高了LLM的真实性。我们还进行了额外的分析，以深入研究我们方法的潜在机制，例如比较不同的幻觉诱导方法，评估我们方法在不同模型大小和类型下的有效性

了解本专栏