How Language Model Hallucinations Can Snowball

本文是LLM系列文章，针对《How Language Model Hallucinations Can Snowball》的翻译。

摘要

在实际应用中使用语言模型的一个主要风险是它们容易产生错误陈述的幻觉。幻觉通常归因于LMs中的知识差距，但我们假设，在某些情况下，当证明先前产生的幻觉时，LMs会输出他们可以单独识别为不正确的虚假声明。我们构建了三个问答数据集，其中ChatGPT和GPT-4经常陈述错误的答案，并提供至少一个错误声明的解释。至关重要的是，我们发现ChatGPT和GPT-4可以分别识别67%和87%的错误。我们将这种现象称为幻觉滚雪球：LM过度犯早期错误，导致更多错误，否则就不会犯。

1 引言

2 为什么我们期待幻觉像滚雪球一样越滚越大？

3 实验

4 我们能防止雪球幻觉吗？

5 相关工作

6 结论

我们定义了幻觉滚雪球的现象，并从最先进的模型中证明了它在生成中的普遍性，从而导致了基于简单事实的幻觉，否则这些幻觉是不会发生的。我们的研究结果指出，训练语言模型的风险在于，