Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models

本文是LLM系列的文章，针对《Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models》的翻译。

摘要

虽然大型语言模型（LLM）在一系列下游任务中表现出了非凡的能力，但一个重要的问题是它们表现出幻觉的倾向：LLM偶尔会生成与用户输入不同的内容，与先前生成的上下文相矛盾，或与已建立的世界知识不一致。这一现象对LLM在现实世界场景中的可靠性提出了重大挑战。在这篇论文中，我们调查了最近在幻觉的检测、解释和缓解方面的努力，重点是LLM带来的独特挑战。我们介绍了LLM幻觉现象的分类和评估基准，分析了旨在减轻LLM幻觉的现有方法，并讨论了未来研究的潜在方向。

1 引言

2 LLM时代的幻觉

3 LLM幻觉的评估

4 LLM幻觉的来源

5 LLM幻觉的缓解

6 前景

7 结论

LLM凭借其在开放领域的强大理解和生成能力，引起了学术界和工业界的极大关注。然而，幻觉仍然是阻碍LLM实际应用的一个关键挑战。在这项调查中，我们对最新进展进行了全面回顾，主要是在ChatGPT发布后，旨在评估、追踪和消除LLM中的幻觉。我们还深入研究了现有的挑战，并讨论了未来可能的方向。我们