【大模型与机器学习解惑】对 NLP 或语音任务，如何把残差思想迁移到 Transformer / WaveNet 中？

目录

1. 残差思想回顾
2. Transformer 中的残差迁移
   1. 标准 Pre‑LN/Post‑LN 结构
   2. 可训练缩放：ReZero
   3. 深层稳态缩放：DeepNorm / DeepNet
3. WaveNet 中的残差迁移
   1. 基本残差-跳跃框架
   2. 门控残差与条件输入
4. 代码示例与说明
5. 小结

---

残差思想回顾

经典 ResNet 通过

$$x_{l+1}=x_l+\mathcal{F}\left(x_l,W_l\right)$$

将恒等映射引入深网，缓解梯度爆炸/消失，为后续 可训练缩放、门控、归一化重排 等改法奠定了基础。

---

Transformer 中的残差迁移

标准 Pre‑LN/Post‑LN 结构

变体	公式	特点
Post‑LN	$$x_{l+1}=\text{LN}\left(x_l+{\mathcal{G}}_l(x_l)\right)$$	训练早期稳定，但深层易梯度爆炸
Pre‑LN	$$x_{l+1}$$