动手学深度学习笔记---4.5 数值稳定性与模型初始化

一、数值稳定性

由于链式法则的存在，在神经网络中进行反向传播时，深层的神经网络会使得梯度值在反向传播时出现梯度爆炸或梯度消失的问题。

以多层感知机为例，对于隐藏层$h^t$，存在激活函数$\sigma$，该层的输入为$h^{t-1}$满足如下：

$h^t=f_t(h^{t-1})=\sigma (W^t{h}^{t-1})$

对上述进行求导，$\sigma$激活函数求导后，对所得向量对角化，变为对角矩阵：

$\frac{\partial h^t}{\partial h^{t-1}}=diag({\sigma }^{\prime }(W^t{h}^{t-1}))W^t$

假设$h^t$为$n$维向量，$h^{t-1}$为$m$维向量，则权重矩阵$W^t$维度必须为$(n\ast m)$
$h^t$对$h^{t-1}$求导，采用分子布局，所得结果应该为$n\ast m$维矩阵(雅可比矩阵)
又因为$W^t$为$n\ast m$维矩阵，$W^t\cdot h^{t-1}$为$n$维向量，为了使得结果满足$n\ast m$维矩阵
因此需要对向量$W^t\cdot h^{t-1}$进行对角化，转为$n\ast n$维对角矩阵，即$(n\ast n)\ast (n\ast m)=(n\ast m)$

在整个反向传播过程中，会出现梯度累乘：

${\prod }_{i=t}^{d-1}\frac{\partial h^{i+1}}{\partial h^i}={\prod }_{i=t}^{d-1}diag({\sigma }^{\prime }(W^i{h}^{i-1}))W^i$

若使用ReLU做激活函数，当$x>0$时，梯度为$1$，否则梯度为$0$。此时对角矩阵内为$1$或$0$，此时${\prod }_{i=t}^{d-1}\frac{\partial h^{i+1}}{\partial h^i}$中的部分值会来自${\prod }_{i=t}^{d-1}{W}^i$，另一些值为$0$，此时当网络比较深的时候，若$W^i>1$,累乘后靠近输入层的梯度值会变得非常大，出现梯度爆炸现象。

梯度爆炸的存在，会使得：

1. 梯度值超出值域，尤其是对于16位浮点数，其值域仅为（6e-5,6e4），很容易因梯度爆炸发生越界
2. 导致网络不稳定，最好的结果是无法从训练数据中收敛，最坏的结果是由于权重值为NaN而无法更新权重。

梯度值对学习率很敏感：

1. 学习率太大，会带来很大的权重参数，从而在反向传播时带来更大的梯度，如此循环往复，很容易导致梯度爆炸
2. 学习率太小，会使得模型在训练时的收敛非常缓慢，导致训练无进展
3. 可以在训练时，动态的调整学习率。

与梯度爆炸原理相同，在反向传播过程中，若梯度值小于$1$，在不断的累乘过程中会使得梯度信息随层数增加不断衰减，最终出现梯度消失现象，以Sigmoid激活函数为例：

$\sigma (x)=\frac{1}{1+e^{-x}}{\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$




从上图可以看出，$x$值稍大或稍小时，激活函数的梯度趋近于$0$，多次累乘后，出现梯度消失现象。

对于16位浮点数，很小的浮点值，例如$5e^{-4}$，基本可以当作$0$来看待，很容易出现梯度消失现象。

梯度消失现象的存在，会使得：

1. 训练无进展，不论如何设计学习率，梯度为0时，乘上学习率都为0，导致训练无进展。
2. 对深层网络的底部层（接近输入层）处尤为严重，使得神经网络与浅层无异，无法更深。

总结： 梯度爆炸/消失通常由模型层数过深或激活函数选择不当所导致，应尽量避免梯度过大或者过小。

二、模型初始化与激活函数

训练时的梯度爆炸和梯度消失问题都会导致模型训练不稳定，解决该问题的目标是使得模型的梯度在训练时一直保持在合理范围内，为此可以采用以下几种方法：

1. 乘法变加法：修改模型结构，采用ResNet或者LSTM等模型
2. 归一化：对梯度进行裁剪，或者归一化处理
3. 设置合理的权重初始化以及激活函数

本节内容主要针对第三点进行展开，理想状态下，我们希望模型每层的输出和梯度都是一个随机变量，其均值和方差保持一致，并均为常数：


在这种情况下，模型不管加多深，我们都可以认为，其每一层的输出和梯度，均值为0，方差为一个固定常数项。从而避免梯度爆炸或梯度消失现象。

权重初始化

之前所采用的均值为0，方差为0.01的正态分布$N(0,0.01)$对权重进行初始化的方法，针对多层感知机等小型神经网络可能没太多问题，但并不适用于深度神经网络。

我们希望在初始化时可以在合理的区间内随机初始参数，因为在训练开始时，很容易出现数值不稳定的现象，尤其是当初始化的参数远离最优解时，为了使得下降更快，梯度值会变得非常大，导致在训练更新时可能出现梯度爆炸的现象；而在最优解附近时，梯度下降缓慢，可能会在更新时梯度变成0，出现梯度消失现象。

以多层感知机为例：

假设权重$w_{i,j}^t$满足独立同分布，其期望满足$\mathbb{E}[w_{i,j}^t]=0$，方差$Var[w_{i,j}^t]={\gamma }_t$，$h_i^{t-1}$与$w_{i,j}^t$独立。

当不存在激活函数时，满足$h^t=W^t{h}^{t-1}$，其正向输出的均值与方差为：

$\mathbb{E}[h_i^t]=\mathbb{E}\left[{\sum }_j{w}_{i,j}^t{h}_j^{t-1}\right]={\sum }_j\mathbb{E}[w_{i,j}^t]\mathbb{E}[h_j^{t-1}]=0$

$Var[h_i^t]=\mathbb{E}[(h_i^t{)}^2]-\mathbb{E}[h_i^t{]}^2=\mathbb{E}\left[\right({\sum }_j{w}_{i,j}^t{h}_j^{t-1}{)}^2]={\sum }_{j}Var[w_{i,j}^t]Var[h_j^{t-1}]=n_{t-1}{\gamma }_{t}Var[h_j^{t-1}]$

当满足$n_{t-1}{\gamma }_t=1$时，输入与输出的方差相等。
反向传播的梯度均值与方差与正向传播类似，满足

$\mathbb{E}\left[\frac{\partial l}{\partial h_i^{t-1}}\right]=0Var\left[\frac{\partial l}{\partial h_j^{t-1}}\right]=n_y{\gamma }_{t}Var\left[\frac{\partial l}{\partial h_j^t}\right]$

同样当满足$n_t{\gamma }_t=1$时，前后梯度方差相等。

综上，为了满足前向输出和反向梯度的期望与方差均满足上述假设，需要满足$n_{t-1}{\gamma }_t=1$和$n_t{\gamma }_t=1$，这两个条件很难同时满足，因为我们无法控制$n_t$与$n_{t-1}$。

为此我们采用Xavier初始化方法，使得${\gamma }_t(n_{t-1}+n_t)/2=1\to {\gamma }_t=2/(n_{t-1}+n_t)$，此时可采用下述分布进行初始化：

• 正态分布：$N(0,\sqrt{2/(n_{t-1}+n_t)})$
• 均匀分布：$U(-\sqrt{6/(n_{t-1}+n_t)},\sqrt{6/(n_{t-1}+n_t)})$，均匀分布$U[-a,a]$的方差为$a^2/3$

对于激活函数$\sigma (x)=\alpha x+\beta$，存在$h^{\prime }=W^t{h}^{t-1},h^t=\sigma (h^{\prime })$,满足输入输出不变时，存在：

$\mathbb{E}[h_i^t]=\mathbb{E}[\alpha h_t^{\prime }+\beta ]=\beta \to \beta =0$

$Var[h_i^t]=a^{2}Var[h_i^{\prime }]\to \alpha =1$

反向同理，因此在采用激活函数时，若想满足期望方差不变，必须满足$\alpha =1,\beta =0$，即激活函数等于变量本身，满足$\sigma (x)=x$。

总结： 越拟合$f(x)=x$的激活函数效果越好，可以对Sigmoid激活函数改为$4\times sigmoid(x)-2$,效果要比原始Sigmoid函数好很多。

ReLU激活函数的泰勒展开为$relu(x)=0+xforx\ge 0$，因此现在常采用ReLU作为激活函数。