文章核心总结与翻译
一、主要内容
文章聚焦单层Transformer在圆形随机游走任务中的学习能力与可解释性,通过理论分析和实验验证得出关键结论:
- 当转移概率 (0<p<1) 时,经梯度下降训练的单层Transformer能达到最优预测精度 (max{p, 1-p}),收敛速率为 (O(T^{-1/2}))(T为迭代次数)。
- 训练后的模型具有强可解释性:softmax注意力机制负责筛选“直接父状态”token,价值矩阵 (V) 能恢复真实的一步转移概率矩阵。
- 当 (p=0) 或 (p=1)(确定性游走)时,零初始化会导致训练失败,模型性能等价于随机猜测;随机初始化可部分缓解该问题,但优化难度仍更高。
- 上述优化失效现象具有普遍性,在简单问答任务中也存在类似问题。
二、创新点
- 首次在任意规模状态空间的圆形随机游走任务中,建立Transformer的理论收敛保证,扩展了现有两状态马尔可夫链的研究范围。
- 明确揭示Transformer各组件在序列预测中的具体作用,解决了其可解释性不足的核心问题。
- 完整刻画了转移概率 (p \in [0,1]) 范围内的模型性能边界,明确了零初始化导致优化失效的条件与原因。
- 验证了理论发现的普适性,将随机游走任务的结论推广到其他机器学习任务场景。
订阅专栏 解锁全文
1303



被折叠的 条评论
为什么被折叠?



