2025_NIPS_Birth of a Transformer: A Memory Viewpoint

一、文章主要内容总结

文章从记忆视角研究Transformer的内部机制，核心聚焦Transformer如何平衡全局知识（如语法规则）与上下文特定知识（如语境中的新词关联）的学习。通过构建包含全局二元组和上下文特定二元组的合成数据集，作者对简化的两层Transformer进行实证分析与理论推导，发现模型先快速学习全局二元组，再通过“归纳头”机制缓慢掌握上下文二元组预测能力。同时提出权重矩阵可视为联想记忆的核心观点，揭示了训练中自上而下的学习动态（先学习输出关联，再优化注意力聚焦），并通过理论分析阐明梯度如何帮助模型从含噪输入中提取有效信号，为理解大语言模型的上下文学习能力提供了简化且可解释的框架。

二、文章创新点

1. 提出新的合成实验设置，分离全局学习与上下文学习任务，明确Transformer对两种知识的学习差异与顺序。
2. 建立Transformer权重矩阵的联想记忆视角，将权重矩阵解释为存储嵌入对的关联记忆，简化了模型内部机制的可解释性。
3. 实证揭示归纳头的自上而下学习动态：先学习输出层关联（WO2W_{O}^{2}