深度神经网络权重初始化与信号传播理论
摘要
权重初始化是深度神经网络训练的基础环节,直接决定前向信号传播与反向梯度流的稳定性。本章从方差守恒理论出发,系统推导Xavier与He初始化的统计约束条件,分析Fixup初始化对残差网络梯度爆炸的抑制机制,阐述T-Fixup在Transformer架构中消除学习率预热与层归一化依赖的理论依据,并介绍MetaInit基于元学习的自动化初始化搜索框架。全文以信号传播的主方程为线索,建立初始化尺度与网络可训练性的定量关系。
1. 信号传播理论基础
1.1 前向信号传播的主方程
1.1.1 线性层的方差递推
考虑深度网络中第 (l) 层的前向传播:
h(l)=W(l)x(l−1)+b(l) h^{(l)} = W^{(l)} x^{(l-1)} + b^{(l)} h(l)=W(l)x(l−1)+b(l)
其中 (W^{(l)} \in \mathbb{R}^{n_l \times n_{l-1}}),(x^{(l-1)}) 为输入激活。假设权重独立同分布,均值为零,方差为 (\sigma_w^2);输入激活均值为零,方差为 (q^{(l-1)})。则输出方差满足:
q(l)=nl−1σw2q(l−1) q^{(l)} = n_{l-1} \sigma_w^2 q^{(l-1)} q(l)=nl−1σw2q(l−1)
该方程表明,在无激活函数的理想线性网络中,信号方差按因子 (n_{l-1} \sigma_w^2) 逐层缩放。若该因子大于1,信号方差随深度指数增长;若小于1,则指数衰减。
1.1.2 非线性激活的修正
当引入逐元素激活函数 (\phi(\cdot)) 时,方差递推方程修正为:
q(l)=nl−1σw2E[ϕ(x)2] q^{(l)} = n_{l-1} \sigma_w^2 \mathbb{E}[\phi(x)^2] q(l)=nl−1σw2E[ϕ(x)2]
对于ReLU激活,利用其正半轴线性、负半轴归零的特性,若输入对称分布,有 (\mathbb{E}[\phi(x)^2] = \frac{1}{2} q^{(l-1)})。因此:
q(l)=nl−1σw22q(l−1) q^{(l)} = \frac{n_{l-1} \sigma_w^2}{2} q^{(l-1)} q(l)=2nl−1σw2q(l−1)
1.2 反向梯度传播的主方程
1.2.1 梯度方差递推
反向传播中,第 (l) 层的梯度 (\delta^{(l)} = \frac{\partial L}{\partial h^{(l)}}) 满足:
δ(l−1)=(W(l))Tδ(l)⊙ϕ′(x(l−1)) \delta^{(l-1)} = (W^{(l)})^T \delta^{(l)} \odot \phi'(x^{(l-1)}) δ(l−1)=(W(l))Tδ(l)⊙ϕ′(x(l−1))
假设梯度与权重独立,则梯度方差递推为:
q~(l−1)=nlσw2E[ϕ′(x)2]q~(l) \tilde{q}^{(l-1)} = n_l \sigma_w^2 \mathbb{E}[\phi'(x)^2] \tilde{q}^{(l)} q~(l−1)=nlσw2E[ϕ′(x)2]q~(l)
其中 (\tilde{q}^{(l)}) 为第 (l) 层梯度方差。对于ReLU,(\phi’(x)) 在正半轴为1,负半轴为0,故 (\mathbb{E}[\phi’(x)^2] = \frac{1}{2})。
1.2.2 前向与反向的方差守恒条件
为实现信号与梯度的稳定传播,需同时满足前向与反向方差守恒。定义前向缩放因子 (\chi_f = n_{in} \sigma_w^2 \mathbb{E}[\phi’(x)^2]) 与反向缩放因子 (\chi_b = n_{out} \sigma_w^2 \mathbb{E}[\phi’(x)^2])。稳定传播要求:
χf≈1,χb≈1 \chi_f \approx 1, \quad \chi_b \approx 1 χf≈1,χb≈1
由于前向与反向通常难以同时精确守恒,初始化策略需在二者间取得平衡。
2. Xavier-Glorot初始化
2.1 方差守恒推导
2.1.1 线性激活的方差平衡
Glorot与Bengio针对双曲正切与Sigmoid等对称饱和激活函数,提出方差平衡条件。假设激活函数在零附近近似线性,且输入输出神经元数分别为 (n_{in}) 与 (n_{out})。
前向传播要求:
ninσw2=1 n_{in} \sigma_w^2 = 1 ninσw2=1
反向传播要求:
noutσw2=1 n_{out} \sigma_w^2 = 1 noutσw2=1
同时满足二者需取调和平均:
σw2=2nin+nout \sigma_w^2 = \frac{2}{n_{in} + n_{out}} σw2=nin+nout2
2.1.2 Xavier均匀分布初始化
基于上述方差约束,Xavier初始化采用均匀分布:
Wij∼U[−6nin+nout,6nin+nout] W_{ij} \sim U\left[-\frac{\sqrt{6}}{\sqrt{n_{in} + n_{out}}}, \frac{\sqrt{6}}{\sqrt{n_{in} + n_{out}}}\right] Wij∼U[−nin+nout6,nin+nout6]
均匀分布 (U[-a, a]) 的方差为 (a^2/3)。代入 (a = \sqrt{6}/\sqrt{n_{in} + n_{out}}) 得:
Var(Wij)=63(nin+nout)=2nin+nout \text{Var}(W_{ij}) = \frac{6}{3(n_{in} + n_{out})} = \frac{2}{n_{in} + n_{out}} Var(Wij)=3(nin+nout)6=nin+nout2
恰满足方差守恒条件。
2.1.3 Xavier正态分布初始化
正态分布版本直接设定方差:
Wij∼N(0,2nin+nout) W_{ij} \sim N\left(0, \frac{2}{n_{in} + n_{out}}\right) Wij∼N(0,nin+nout2)
2.2 对梯度流的影响
2.2.1 前向与反向的方差行为
Xavier初始化确保在近似线性激活下,前向信号方差与反向梯度方差在逐层传播中保持恒定。对于双曲正切激活,由于其在零附近近似恒等映射,该初始化能有效防止深层网络的信号衰减或爆炸。
2.2.2 深层网络中的局限性
当网络深度增加或采用强非线性激活(如ReLU)时,Xavier假设的线性近似失效。ReLU的非对称性导致前向方差每经一层减半,Xavier的 (n_{in}) 与 (n_{out}) 平均策略无法补偿该效应,深层网络仍面临梯度消失风险。
3. He初始化
3.1 ReLU激活的方差修正
3.1.1 前向方差守恒推导
He等人针对ReLU激活提出修正初始化。ReLU将负半轴置零,对零均值对称输入,其输出方差为:
E[ReLU(x)2]=12E[x2]=12q(l−1) \mathbb{E}[\text{ReLU}(x)^2] = \frac{1}{2} \mathbb{E}[x^2] = \frac{1}{2} q^{(l-1)} E[ReLU(x)2]=21E[x2]=21q(l−1)
代入前向方差递推方程:
q(l)=ninσw2⋅12q(l−1) q^{(l)} = n_{in} \sigma_w^2 \cdot \frac{1}{2} q^{(l-1)} q(l)=ninσw2⋅21q(l−1)
方差守恒要求 (q^{(l)} = q^{(l-1)}),故:
σw2=2nin \sigma_w^2 = \frac{2}{n_{in}} σw2=nin2
3.1.2 He正态分布初始化
基于上述推导,He初始化采用:
Wij∼N(0,2nin) W_{ij} \sim N\left(0, \frac{2}{n_{in}}\right) Wij∼N(0,nin2)
其中 (n_{in}) 为输入维度(fan-in)。该方差是Xavier正态版本(使用 (n_{in}) 而非调和平均)的两倍,恰好补偿ReLU的方差减半效应。
3.1.3 He均匀分布初始化
均匀分布版本为:
Wij∼U[−6nin,6nin] W_{ij} \sim U\left[-\sqrt{\frac{6}{n_{in}}}, \sqrt{\frac{6}{n_{in}}}\right] Wij∼U[−nin6,nin6]
验证方差:(\text{Var}(W) = \frac{6}{3 n_{in}} = \frac{2}{n_{in}}),满足守恒条件。
3.2 对梯度流的影响
3.2.1 前向信号稳定性
He初始化确保ReLU网络的前向信号方差在逐层传播中保持恒定。对于第 (l) 层,输出方差 (q^{(l)} = q^{(0)}),与深度无关。这一性质使得深层卷积网络(如ResNet-152)的前向传播稳定,避免信号过早饱和或衰减。
3.2.2 反向梯度稳定性
反向传播中,ReLU的导数在正半轴为1,负半轴为0。He初始化下,梯度方差满足:
q~(l−1)=nout⋅2nin⋅12q~(l)=noutninq~(l) \tilde{q}^{(l-1)} = n_{out} \cdot \frac{2}{n_{in}} \cdot \frac{1}{2} \tilde{q}^{(l)} = \frac{n_{out}}{n_{in}} \tilde{q}^{(l)} q~(l−1)=nout⋅nin2⋅21q~(l)=ninnoutq~(l)
当 (n_{out} \approx n_{in}) 时,梯度方差亦保持恒定,实现稳定的反向传播。
4. Fixup初始化
4.1 残差网络的梯度爆炸问题
4.1.1 残差块的结构
残差网络的基本单元为:
y=x+F(x,W) y = x + F(x, W) y=x+F(x,W)
其中 (F(\cdot)) 为残差分支,通常包含卷积、批归一化与激活函数。在初始化时,若残差分支的输出方差与输入同阶,则经过 (L) 个残差块后,输出方差为 (L \cdot \text{Var}(x)),随深度线性增长。
4.1.2 梯度爆炸的定量分析
反向传播经过残差连接时,梯度沿 shortcut 与残差分支两条路径回流。设第 (l) 块残差分支的Jacobian为 (J_{F_l}),则梯度递推为:
∂L∂xl=∂L∂xl+1⋅(I+JFl) \frac{\partial L}{\partial x_l} = \frac{\partial L}{\partial x_{l+1}} \cdot \left(I + J_{F_l}\right) ∂xl∂L=∂xl+1∂L⋅(I+JFl)
当网络深度 (L) 较大时,(\prod_{l=1}^{L} (I + J_{F_l})) 的范数随深度指数增长,导致梯度爆炸。
4.2 Fixup的缩放策略
4.2.1 残差分支的零初始化
Fixup初始化将残差分支的最后一层权重置零,使初始时残差分支输出为零:
F(x,W)=0 F(x, W) = 0 F(x,W)=0
此时网络初始等价于恒等映射 (y = x),彻底消除初始化时的梯度爆炸风险。
4.2.2 标量乘子的引入
为恢复残差分支的学习能力,Fixup引入可学习的标量乘子 (\alpha_l) 与偏置 (\beta_l):
y=x+αl⋅F(x,W)+βl y = x + \alpha_l \cdot F(x, W) + \beta_l y=x+αl⋅F(x,W)+βl
其中 (\alpha_l) 初始化为零,随训练逐渐调整;(\beta_l) 初始化为零或适当值。
4.2.3 深度缩放因子
Fixup进一步引入与深度相关的缩放因子。对于 (L) 层残差网络,将残差分支内各层权重(除最后一层外)乘以 (L^{-1/(2m-2)}),其中 (m) 为残差分支内的层数。该缩放确保残差分支在初始化时的有效幅值随深度衰减,平衡深层网络的梯度流。
4.3 对梯度流的影响
4.3.1 初始化时的梯度行为
Fixup通过零初始化残差分支输出,使得反向传播在初始化时仅沿 shortcut 路径进行,Jacobian近似为单位矩阵,梯度范数保持恒定。随着训练进行,残差分支逐渐学习非零映射,但此时优化器已处于稳定区域。
4.3.2 无归一化层的训练
Fixup初始化使得深层残差网络可在无批归一化层的情况下稳定训练。传统批归一化通过强制每层输出零均值单位方差来稳定梯度,Fixup则通过初始化时的零残差与深度缩放实现同等效果,且避免了批归一化对 batch size 的依赖及其在推理时的统计估计误差。
5. T-Fixup初始化
5.1 Transformer训练的稳定性挑战
5.1.1 自注意力机制的方差特性
Transformer的自注意力层计算:
Attention(Q,K,V)=softmax(QKTdk)V \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V Attention(Q,K,V)=softmax(dkQKT)V
其中 (Q, K, V) 为输入的线性投影,(d_k) 为键向量的维度。在初始化时,(QK^T) 的元素方差为 (d_k \sigma_w^2 q),除以 (\sqrt{d_k}) 后归一化为 (\sqrt{d_k} \sigma_w^2 q)。
5.1.2 层归一化与预热依赖
标准Transformer训练依赖学习率预热与层归一化来稳定早期优化。层归一化通过逐层统计归一化抑制方差爆炸,但在反向传播时,经过层归一化的梯度对输入幅值敏感,导致Adam优化器在初始阶段的二阶矩估计方差过大,引发更新不稳定。
5.2 T-Fixup的推导
5.2.1 有界更新条件
T-Fixup的核心目标是确保Adam优化器的初始更新有界。分析表明,Adam的更新方差与残差分支的Jacobian范数相关。通过适当缩放权重,可使初始更新的方差与模型深度无关。
5.2.2 缩放因子的确定
对于 (N) 层Transformer编码器,T-Fixup要求:
- 输入嵌入采用高斯初始化 (N(0, d^{-1/2})),其中 (d) 为嵌入维度;
- 自注意力块与位置前馈块内的线性投影矩阵乘以缩放因子 (0.67 \cdot N^{-1/4});
- 其余参数采用Xavier初始化。
该缩放因子的推导基于对注意力输出与MLP输出方差的联合约束,确保在 (N) 层堆叠后总方差增长受控。
5.2.3 消除层归一化与预热
通过上述初始化缩放,T-Fixup使得Transformer在训练初期无需层归一化即可保持信号方差稳定,同时Adam的更新方差有界,从而完全消除对学习率预热的依赖。实验表明,采用T-Fixup的Transformer可从训练第一步即使用最大学习率,收敛速度与最终性能均优于标准训练流程。
5.3 对梯度流的影响
5.3.1 注意力层的梯度行为
T-Fixup通过 (N^{-1/4}) 缩放降低注意力投影矩阵的初始幅值,使得softmax输入在初始化时接近零,注意力分布趋于均匀。这避免了初始阶段注意力过度集中于个别位置,确保梯度在各位置间均衡传播。
5.3.2 深层Transformer的稳定性
在深层Transformer(如50至200层)中,标准初始化导致梯度随深度指数增长。T-Fixup的缩放策略将残差分支的贡献限制在 (O(N^{-1/2})) 量级,使得 (N) 层堆叠后的总方差增长为 (O(1)),实现任意深度下的稳定梯度流。
6. MetaInit
6.1 梯度商准则
6.1.1 局部曲率的量化
MetaInit提出梯度商(Gradient Quotient)作为初始化质量的度量。定义参数 (\theta) 处的梯度为 (g(\theta) = \nabla L(\theta)),执行单步梯度下降后的参数为 (\theta’ = \theta - \eta g(\theta))。梯度商衡量梯度在单步更新后的变化幅度:
GQ(θ)=∥g(θ)−g(θ′)∥1∥g(θ)∥1 \text{GQ}(\theta) = \frac{\|g(\theta) - g(\theta')\|_1}{\|g(\theta)\|_1} GQ(θ)=∥g(θ)∥1∥g(θ)−g(θ′)∥1
该比值反映损失函数在初始参数附近的局部曲率。GQ越小,表明初始区域越接近局部线性,梯度下降越易收敛。
6.1.2 与可训练性指标的关系
梯度商与Hessian条件数、Fisher信息矩阵及神经正切核的谱性质相关。低GQ对应良态的优化景观,减少二阶效应的干扰,使一阶优化器(如SGD、Adam)在初始阶段高效推进。
6.2 元学习优化框架
6.2.1 优化目标
MetaInit通过元学习最小化梯度商。具体地,将各层权重矩阵的范数 (|W_l|) 作为元参数,在随机生成的伪数据上执行单步前向与反向传播,计算梯度商并反向传播至元参数,调整各层初始化尺度。
6.2.2 元优化算法
元优化过程如下:
- 初始化网络参数 (\theta);
- 采样随机输入 (x) 与随机标签 (y);
- 计算损失 (L(\theta; x, y)) 与梯度 (g(\theta));
- 执行虚拟更新 (\theta’ = \theta - \eta g(\theta));
- 计算新梯度 (g(\theta’)) 与梯度商 (GQ);
- 以 (GQ) 为元损失,通过梯度下降调整 (\theta) 的各层范数。
该过程无需真实训练数据,仅依赖随机输入即可确定各层的最优初始化尺度。
6.3 对梯度流的影响
6.3.1 自动化的尺度校正
MetaInit自动校正各层权重的初始范数。对于过小的初始化,梯度商增大(曲率效应弱但梯度幅值小,更新后梯度变化相对显著);对于过大的初始化,梯度商亦增大(进入高度非线性区域)。元优化收敛至使GQ最小的尺度,对应梯度流的局部最优点。
6.3.2 跨架构的泛化能力
MetaInit可应用于不同架构(全连接网络、卷积网络、残差网络)与不同激活函数。实验表明,经MetaInit调整后的初始化在无批归一化、无残差连接的深层网络中仍可实现稳定训练,其性能与标准批归一化网络相当,甚至优于固定规则初始化。
7. 可视化架构与知识图谱
7.1 全文知识结构图
7.2 信号传播方差递推图
7.3 Xavier与He初始化对比图
7.4 Fixup残差块初始化图
7.5 T-Fixup缩放机制图
7.6 MetaInit元优化流程图
7.7 初始化策略选择决策图
7.8 各初始化策略对梯度流的影响对比图
7.9 残差网络梯度爆炸与Fixup抑制机制图
7.10 初始化策略演进时间线图
8. 总结
权重初始化通过控制初始参数尺度,直接决定深度网络前向信号的方差演化与反向梯度的幅值稳定性。Xavier初始化基于对称激活的方差平衡条件,采用输入输出维度的调和平均;He初始化针对ReLU的非对称性,将方差放大两倍以补偿负半轴的信息损失;Fixup初始化通过零初始化残差分支与深度相关缩放,消除深层残差网络对层归一化的依赖;T-Fixup将Fixup思想拓展至Transformer,通过 (N^{-1/4}) 缩放实现无预热、无层归一化的深层注意力网络训练;MetaInit则以梯度商为准则,利用元学习自动搜索各层最优初始化尺度,摆脱手工设计规则的限制。
理解各类初始化策略背后的方差守恒原理与梯度传播机制,是诊断训练发散、设计新型架构及优化超参数选择的理论基础。随着网络深度与架构复杂度的持续增长,初始化理论与自动化初始化方法的结合将成为深度学习系统可靠训练的关键支撑。
957



被折叠的 条评论
为什么被折叠?



