神经网络与深度学习-性能优化

1. 动量法

1.1. 病态曲率

SGD问题： 病态曲率

图为损失函数轮廓。在进入以蓝色标记的山沟状区域之前随机开始。颜色实际上表示损失函数在特定点处的值有多大，红色表示最大值，蓝色表示最小值。我们想要达到最小值点，为此但需要我们穿过山沟。这个区域就是所谓的病态曲率

梯度下降沿着山沟的山脊反弹，向极小的方向移动较慢。这是因为脊的表面在W1方向上弯曲得更陡峭

1.2. 动量法

• 如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开这块平地。
• 动量方法相当于把纸团换成了铁球；不容易受到外力的干扰，轨迹更加稳定；同时因为在鞍点处因为惯性的作用，更有可能离开平地

动量法更新公式：$$\begin{array}{rl}& v_t=\alpha v_{t-1}-ϵg_t\\ & \Delta \theta \leftarrow v_t\\ & {\theta }_{t+1}\leftarrow {\theta }_t+\Delta \theta \end{array}$$

动量法效果比较

2. 自适应梯度算法

2.1. AdaGrad

Adaptive Gradient：自适应梯度

• 参数自适应变化：具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率
• 具体来说，每个参数的学习率会缩放各参数反比于其历史梯度平方值总和的平方根

AdaGrad问题：

• 学习率是单调递减的，训练后期学习率过小会导致训练困难，甚至提前结束
• 需要设置一个全局的初始学习率

2.2. RMSProp

RMSProp: Root Mean Square Prop

• RMSProp 解决 AdaGrad 方法中学习率过度衰减的问题
• RMSProp 使用指数衰减平均以丢弃遥远的历史，使其能够快速收敛；此外，RMSProp 还加入了超参数 𝜌 控制衰减速率
• 具体来说（对比 AdaGrad 的算法描述），即修改$r$为：$$r\leftarrow \mathbb{E}{\left[g^2\right]}_t=\rho \cdot \mathbb{E}{\left[g^2\right]}_{t-1}+(1-\rho )\cdot g^2$$
  记：$RMS[g{]}_t=\sqrt{\mathbb{E}{\left[g^2\right]}_t+\delta }$
  则：$\Delta {\theta }_t=-\frac{ϵ}{RMS[g{]}_t}\odot g_t$

RMSProp算法：

2.3. Adam

Adam算法：

• Adam 在 RMSProp 方法的基础上更进一步
  • 除了加入历史梯度平方的指数衰减平均（𝑟）外
  • 还保留了历史梯度的指数衰减平均（𝑠），相当于动量
• Adam 行为就像一个带有摩擦力的小球，在误差面上倾向于平坦的极小值

3. 性能优化问题描述

3.1. 待解决问题

待解决问题：

权值𝐰取何值，指标函数𝐽(𝐰)最小？

恰恰是最优化方法中的基本问题：函数最小化

进一步，我们希望建立迭代形式，并且形式尽量简单，类似基本BP算法(最速梯度法):$$w_{k+1}=w_k+{\alpha }_k{p}_k$$如何选取${\alpha }_k,p_k$构成优化核心内容

3.2. 基本思想

考虑函数$f(x)$, 在某点$x^{\ast }$上进行Taylor展开，$$f(x)=f\left(x^{\ast }\right)+{\frac{df}{dx}|}_{x=x^{\ast }}\Delta x+{\frac{1}{2}\frac{d^{2}f}{d{x}^2}|}_{x=x^{\ast }}(\Delta x{)}^2+\cdots$$考虑函数$f(x)$，在某点$x^{\ast }$展开，类似的，有：$$f(\mathbf{x})=f\left({\mathbf{x}}^{\ast }\right)+{{\left[\frac{df}{dx}\right]}^{\mathrm{T}}|}_{\left(\mathbf{x}={\mathbf{x}}^{\ast }\right)}\Delta \mathbf{x}+\frac{1}{2}(\Delta \mathbf{x}{)}^{\mathrm{T}}H\left({\mathbf{x}}^{\ast }\right)(\Delta \mathbf{x})+\cdots$$

二次展开在邻域内已较精确；因此我们后面将主要围绕二次型进行讨论

• 全局极小点, 局部极小点
  • 一阶条件：必要条件$\nabla f(x^{\ast })=0$(驻点）
  • 二阶条件：充分条件$H$半正定
• 鞍点：沿某方向是极大值点，沿另一方向是极小值

$$F(x)=(x_1^2-1.5x_1{x}_2+2x_2^2)x_1^2$$

• 前面讲述：二次型近似任意函数
• 进一步 ：某一算法是有效的<->对二次型应该有好的效果
• 所以：下面一般以二次型函数为例进行优化

4. 二阶算法

4.1. 牛顿法

对于二次型，有：$$f\left({\mathbf{w}}_{k+1}\right)=f\left({\mathbf{w}}_k\right)+{\mathbf{g}}_k^{\mathrm{T}}\Delta {\mathbf{w}}_k+\frac{1}{2}(\Delta \mathbf{w}{)}^{\mathrm{T}}{A}_k(\Delta \mathbf{w})+\cdots$$
为求得$w_k=?$，$f$最小，根据$\frac{df}{d\Delta w_k}=0$

有：$g_k+A_k\Delta w_k=0$

最终得到：$w_{k+1}=w_k-A_k^{-1}{g}_k$

问题： 二次导数项(Hessian矩阵)求逆

常规梯度：

4.2. 其他二阶算法

• 高斯-牛顿法
• Levenberg-Marquardt算法

5. 常用技巧

模型初始化：

简单的考虑，把所有权值在$[-1,1]$区间内按均值或高斯分布进行初始化

Xavier初始化：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。因此需要实现下面的均匀分布：
$$W\sim U\left[-\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}},\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}}\right]$$

训练数据与测试数据：

数据包括：

• 训练数据
• 验证数据
• 测试数据

通常三者的比例为$70\%,15\%,15\%$或$60,20,20$

当数据很多时，训练和验证数据可适当减少

训练数据与测试数据：𝐾折交叉验证

原始训练数据被分成$K$个不重叠的子集。 然后执行$K$次模型训练和验证，每次在$K-1$个子集上进行训练， 并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。 最后，通过对$K$次实验的结果取平均来估计训练和验证误差

欠拟合与过拟合：

• 欠拟合：误差一直比较大
• 过拟合：在训练数据集上误差小而在测试数据集上误差大

权重衰减 (𝐿2正则化)

为防止过拟合和权值震荡，加入新的指标函数项：$$J(w)+\frac{\lambda }{2}||w|{|}^2$$第二项约束了权值不能过大。在梯度下降时，导数容易计算：$$\frac{J(w)}{dw}+\lambda w$$

Dropout(暂退)

在整个训练过程的每一次迭代中，标准暂退法包括在计算下一层之前将当前层中的一些节点置零

模型初始化：

简单的考虑，把所有权值在[-1,1]区间内按均值或高斯分布进行初始化。

Xavier初始化：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。因此需要实现下面的均匀分布：$$W\sim U\left[-\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}},\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}}\right]$$

6. 总结

• 动量法可有效改善收敛速度，以及避免一些陷入局部极小值
• AdaGrad及Adam等算法可自适应调节学习速率，加速收敛