Hallucination is Inevitable: An Innate Limitation of Large Language Models

本文是LLM系列文章，针对《Hallucination is Inevitable: An Innate Limitation of Large Language Models》的翻译。

摘要

幻觉已经被广泛认为是大型语言模型（LLM）的一个显著缺点。已经有许多作品试图减少幻觉的程度。到目前为止，这些努力大多是实证性的，无法回答是否可以完全消除这种现象的根本问题。在本文中，我们将问题形式化，并表明在LLM中消除幻觉是不可能的。具体来说，我们定义了一个形式世界，其中幻觉被定义为可计算LLM和可计算基准值函数之间的不一致。通过使用学习理论的结果，我们表明LLM不能学习所有的可计算函数，因此总是会产生幻觉。由于形式世界是更复杂的现实世界的一部分，幻觉对于现实世界LLM来说也是不可避免的。此外，对于受可证明时间复杂性约束的现实世界LLM，我们描述了容易产生幻觉的任务，并根据经验验证了我们的说法。最后，使用正式的世界框架，我们讨论了现有幻觉缓解剂的可能机制和功效，以及对LLM安全部署的实际影响。

1 引言

2 相关工作

3 定义

4 幻觉对LLMs来说是不可避免的