How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study

本文是LLM系列文章，针对《How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study》的翻译。

摘要

先前的工作已经展示了大型语言模型在检索事实和处理上下文知识方面的有趣能力。然而，对LLM编码知识的分层能力的研究有限，这挑战了我们对其内部机制的理解。在本文中，我们首次尝试通过探测任务来研究LLM的分层能力。我们利用ChatGPT强大的生成能力来构建探测数据集，提供与各种事实相对应的多样性和连贯性证据。我们使用V可用信息作为验证度量，以更好地反映跨不同层编码上下文知识的能力。我们对冲突和新获得的知识的实验表明，LLM：（1）更喜欢在上层编码更多的上下文知识；（2） 主要将上下文知识编码在较低层的知识相关实体token内，同时逐渐扩展在较高层的其他token内的更多知识；以及（3）当提供了不相关的证据时，逐渐忘记保留在中间层内的早期上下文知识。代码公开于https://github.com/Jometeorie/probing_llama.

1 引言

2 相关工作

3 数据集构造

4 逐层探测

5 实验

6 结论

在本文中，我们提出了一个新的框架来解释大型语言模型在通过探测任务编码上下文知识方面的分层能力。我们的研究解决了LLM如何逐层编码上下文知识这一先前被忽视的方面，揭示了什么是黑盒机制。利用ChatGPT强大的生成能力，我们构建了包含