2023_NIPS_On the Convergence of Encoder-only Shallow Transformers

文章核心总结

该研究聚焦有限宽度下仅编码器的浅层Transformer全局收敛理论，核心解决自注意力机制中softmax的分析难题，明确了缩放方案、初始化方式和过参数化程度对收敛的影响。

主要内容

1. 研究目标：在真实场景（含softmax激活、常用初始化）下，建立浅层Transformer的全局收敛理论，填补理论分析与实际架构的差距。
2. 关键发现：
   • 缩放方案：τ0=dm−1/2\tau_0=d_m^{-1/2}τ