动手学深度学习笔记---4.5 数值稳定性与模型初始化

一、数值稳定性

由于链式法则的存在，在神经网络中进行反向传播时，深层的神经网络会使得梯度值在反向传播时出现梯度爆炸或梯度消失的问题。

以多层感知机为例，对于隐藏层$h^t$，存在激活函数$\sigma$，该层的输入为$h^{t-1}$满足如下：

$h^t=f_t(h^{t-1})=\sigma (W^t{h}^{t-1})$

对上述进行求导，$\sigma$激活函数求导后，对所得向量对角化，变为对角矩阵：

$\frac{\partial h^t}{\partial h^{t-1}}=diag({\sigma }^{\prime }(W^t{h}^{t-1}))W^t$

假设$h^t$为$n$维向量，$h^{t-1}$为$m$维向量，则权重矩阵$W^t$维度必须为$(n\ast m)$
$h^t$对$h^{t-1}$求导，采用分子布局，所得结果应该为$n\ast m$维矩阵(雅可比矩阵)
又因为$W^t$为$n\ast m$维矩阵，$W^t\cdot h^{t-1}$为$n$维向量，为了使得结果满足$n\ast m$维矩阵
因此需要对向量$W^t\cdot h^{t-1}$进行对角化，转为$n\ast n$维对角矩阵，即$(n\ast n)\ast (n\ast m)=(n\ast m)$

在整个反向传播过程中，会出现梯度累乘：

∏i=td−1∂hi+1∂hi=∏i=td−1diag(σ′(Wihi−1))Wi\prod_{i=t}^{d-1}\frac{\partial h^{i+1}}{\partial h^i}=\prod_{i=t}^{d-1}diag(\sigma'(W^ih^{i-1}))W^i∏i=td−1​∂hi∂h