本文是LLM系列文章,针对《Knowledge Boundary of Large Language Models: A Survey》的翻译。
摘要
尽管大型语言模型(LLM)在其参数中存储了大量的知识,但它们在记忆和利用某些知识方面仍然存在局限性,导致了不良的行为,如产生不真实和不准确的反应。这突显了理解LLM知识边界的迫切需要,这一概念在现有研究中仍未得到充分定义。在这项调查中,我们提出了LLM知识边界的全面定义,并引入了一种形式化的分类法,将知识分为四种不同的类型。基于这一基础,我们从三个关键角度系统地回顾了该领域:研究LLM知识边界的动机、识别这些边界的方法以及缓解它们带来的挑战的策略。最后,我们讨论了该领域的开放挑战和潜在的研究方向。我们的目标是通过这项调查为社区提供全面的概述,促进对关键问题的了解,并激励LLM知识研究的进一步发展。
1 引言
2 知识边界的定义
3 不良行为
4 知识边界的识别
5 缓解
6 挑战与前景
7 结论
这项调查全面概述了LL