Knowledge Conflicts for LLMs: A Survey

本文是LLM系列文章，针对《Knowledge Conflicts for LLMs: A Survey》的翻译。

摘要

这项调查深入分析了大型语言模型（LLM）的知识冲突，强调了它们在融合上下文知识和参数知识时遇到的复杂挑战。我们关注三类知识冲突：语境冲突、语境间冲突和记忆内冲突。这些冲突会显著影响LLM的可信度和性能，尤其是在噪声和错误信息很常见的现实应用中。通过对这些冲突进行分类，探索原因，检查LLM在这些冲突下的行为，并审查可用的解决方案，本调查旨在阐明提高LLM稳健性的策略，从而为推进这一不断发展的领域的研究提供宝贵的资源。

1 引言

2 上下文记忆冲突

3 上下文间冲突

4 记忆内冲突

5 挑战和未来方向

6 结论

通过这项调查，我们广泛调查了知识冲突，揭示了它们的分类、原因、LLM如何应对这些冲突以及可能的解决方案。我们的研究结果表明，知识冲突是一个多方面的问题，模型的行为与特定类型的冲突知识密切相关。此外，这三类冲突之间的相互作用似乎更为复杂。此外，我们观察到，现有的解决方案主要解决人为构建的场景，通过依赖假设的先验来忽略冲突的微妙之处，从而牺牲了粒度和广度。鉴于检索增强语言模型（RALM）的使用越来越多，我们预计LLM面临的知识冲突只会增加复杂性，这突出了在这一领域进行更全面研究的必要性。