A Mathematical Explanation of Transformers for Large Language Models and GPTs

该文章通过提出连续数学框架，将Transformer解释为积分微分方程的离散化形式，为其核心组件提供了统一理论基础，并拓展到多类衍生模型，填补了深度学习与连续数学建模的鸿沟。

一、文章主要内容总结

1. 核心理论框架
   • 提出将Transformer架构严格解释为结构化积分微分方程的离散化结果，构建了连续域（token索引与特征维度）上的数学模型。
   • 在该框架中，自注意力机制对应非局部积分算子，层归一化对应时间依赖约束下的投影操作，前馈网络则通过积分变换与激活函数（如ReLU）实现。
2. 模型推导与验证
   • 通过算子分裂法对连续积分微分方程进行时间离散，结合空间网格离散（token数量与嵌入维度），最终精确复现了原始Transformer（单头/多头注意力）、Vision Transformer（ViT）和卷积视觉Transformer（CvT）的架构。
   • 证明Transformer的训练过程等价于PDE约束下的优化问题，通过调整控制变量（如注意力权重、归一化参数）最小化预测与目标的损失。
3. 扩展与应用
   • 将框架扩展到多头注意力：引入“头维度”作为额外连续变量，离散后对应多组独立注意力权重的并行计算与融合。