- 博客(2)
- 收藏
- 关注
RSS订阅原创 Transformer从0理解教程（包含手撕代码）
最初的transformer使用的是post norm，也就是在经过网络和残差连接之后进行layer norm，主要是由于残差直接将输入加到子层的输出中，虽然保留了底层信息但是会造成数值不稳定，并且使用norm能够有效抑制梯度爆炸和消失，同时加速训练收敛。回顾QKV计算，对于decoder输入target token矩阵来说，每一条query都可以完整的感知encoder的输出信息，后续参与计算的也是当前上文中的token和原文全部的位置信息。——因为pe是常数，是不参与训练的，只需要记录就好。
2025-07-23 16:27:54
325
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人