Do Large Language Models Know How Much They Know?

本文是LLM系列文章，针对《Do Large Language Models Know How Much They Know?》的翻译。

摘要

大型语言模型（LLM）已经成为功能强大的系统，并且越来越多地被集成到各种用途中。然而，其部署速度之快超过了对其内部机制的全面了解以及对其能力和局限性的界定。智能系统的一个理想属性是它识别自身知识范围的能力。为了研究LLM是否体现了这一特征，我们开发了一个基准测试，旨在挑战这些模型，以枚举它们在特定主题上拥有的所有信息。该基准评估模型是否回忆起过多、不足或精确的信息量，从而表明他们对自己知识的认识。我们的研究结果表明，所有经过测试的LLM，如果规模足够大，都表明他们对特定主题的了解程度。虽然不同的架构表现出这种能力出现的速度不同，但结果表明，知识意识可能是LLM的一个普遍属性。需要进一步的研究来证实这一潜力，并充分阐明其潜在机制。

1 引言

2 相关工作

3 方法

4 实验

5 讨论

6 结论

本研究的重点是确定LLM是否了解自己对特定主题的知识范围。值得注意的是，我们观察到，如果规模足够大，所有模型都知道有多少文档是由同一个人编写的。因此，这些LLM知道他们对这些人了解多少；否则，他们会偶尔回忆起太少或太多的文件。
更具体地说，我们发现这种能力是基于模型的架构、大小、用于训练的数据集大小以及预训练权重在学习泛化解决方案方面的有效性而产生的，而不是简单地记忆训练样本。
据我们所知，这是第一篇探讨LLM中这种能力的论文，证明了某些模型可以评