2025_NIPS_Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding

文章核心总结

主要内容

该研究聚焦Transformer在词汇上下文学习（VICL）中的通用逼近性质（UAP），核心围绕位置编码的作用展开：1）无位置编码时，单层Transformer无法实现VICL的UAP；2）加入位置编码后，单层Transformer可达成UAP，并给出位置编码需满足的充分条件；3）针对ReLU、softmax等激活函数，进一步放宽了位置编码的约束条件。研究通过建立Transformer与前馈神经网络（FNN）的关联，从逼近理论角度揭示了位置编码在上下文学习（ICL）中的关键价值。

创新点

1. 首次针对有限词汇输入场景，系统分析Transformer在VICL中的UAP，填补了现有研究对离散词汇输入关注不足的空白。
2. 明确建立FNN与Transformer在ICL任务中的等价关系，为Transformer的逼近能力分析提供了新的理论支撑。
3. 量化了位置编码对VICL的影响，给出不同激活函数下位置编码的具体约束，为模型设计提供理论指导。

---

翻译部分（Markdown格式）

Abstract

众多研究已证明Transformer架构具备上下文学习（ICL）能力。在函数逼近场景中，上下文可作为模型的控制参数，赋予其通用逼近性质（UAP）。在实际应用中，上下文由有限集合中的标记表示，该集合被称为词汇表——本文所研究的正是这种词汇表上下文学习（VICL）场景。我们证明，无位置