Memory Retrieval and Consolidation in Large Language Models through Function Tokens

该文章提出“函数令牌假设”，揭示了大型语言模型（LLMs）中函数令牌在记忆检索与巩固中的核心作用，并通过实验验证其机制，为LLM可解释性和算法设计提供新视角。

一、文章主要内容总结

1. 核心研究背景

LLMs虽能通过预训练巩固知识、推理时检索知识，但记忆检索与巩固的机制尚不明确。研究受语言学中“功能词”概念启发，将LLM的令牌分为函数令牌（高频，如标点、介词、冠词）和内容令牌（低频，如名词、动词），探究二者在记忆机制中的作用。

2. 关键实验与发现

• 记忆检索（推理阶段）：通过二分图分析，少量函数令牌能激活模型绝大多数特征（如中间层中前10个高频函数令牌激活超70%特征）；案例显示函数令牌可动态重新激活上下文的预测性特征（如“in”能激活“位置”相关特征），指导下一个令牌生成，而内容令牌无此效果。
• 记忆巩固（预训练阶段）：跟踪模型训练损失发现，预训练优先学习预测函数令牌，后期优化核心是“函数令牌后的内容令牌预测”（该类损失最高）；此过程推动模型参数更新，增加可解释特征数量，实现记忆巩固。
• 模型缩放影响：增大模型参数（如1.5B→8B）时，“函数-内容”“内容-内容”类预测损失下降更显著，说明模型缩放主要提升内容令牌预测能力。

3. 函数令牌假设（核心结论）

• 推理时