2025_NIPS_Understanding Parametric and Contextual Knowledge Reconciliation within Large Language ...

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）在检索增强生成（RAG）框架中，如何协调内部参数化知识（预训练过程中编码于模型参数的知识）与外部上下文知识（检索到的实时外部信息）的核心问题，尤其关注两者存在冲突时的内部机制。

1. 研究背景：LLMs的参数化知识存在覆盖范围有限（难以涵盖领域私有知识）和时效性不足（无法适应现实世界变化）的缺陷，RAG技术虽能提供上下文知识补充，但LLMs整合两类知识的内部机制尚不明确，且面对知识冲突时往往倾向于固守原有参数化知识。
2. 核心方法：提出实体感知探针（entity-aware probing） 框架，通过引入特殊标记token和低秩适配（LoRA）技术，解决传统探针无法动态追踪特定实体的局限，无需修改基础模型参数即可追踪Transformer各层中实体信息的传播（即“实体流”）。
3. 关键发现：
   • 专业化路由：上下文知识和参数化知识通过不同的注意力头传输，跨类型竞争极少，仅在同类知识内部存在竞争；
   • 非对称传播：上下文知识在早期层通过注意力机制快速显现，参数化知识则通过MLP层逐步累积；
   • 叠加式协调：冲突知识在残差流中持续存在，而非被删除，来自多源的一致知识会通过叠加增强信息强度，直接影响最终输出。
4. 实验验证：在HotpotQA、TriviaQA、SQuAD等数据集上验证了实体感知探针的有效性，并通过注意力头归零、提示词操纵等