深度学习基础(Datawhale X 李宏毅苹果书AI夏令营)

深度学习基础(Datawhale X 李宏毅苹果书AI夏令营)

3.1局部极小值和鞍点

3.1.1. 优化失败问题

在神经网络中，当优化到梯度为0的地方，梯度下降就无法继续更新参数了，训练也就停下来了，如图：

梯度为0的情况包含很多种情况：局部最小值、鞍点等。我们统称为临界值。

3.1.2. 判断临界值种类方法

要想知道临界值种类，我们需要知道损失函数的形状。

使用泰勒级数近似来判断：

${\theta }^{\prime }$ 附近的$L(\theta )$可近似为：
$$L(\mathbf{\theta })\approx L\left({\mathbf{\theta }}^{\prime }\right)+{\left(\mathbf{\theta }-{\mathbf{\theta }}^{\prime }\right)}^{\mathrm{T}}\mathbf{g}+\frac{1}{2}{\left(\mathbf{\theta }-{\mathbf{\theta }}^{\prime }\right)}^{\mathrm{T}}\mathbf{H}\left(\mathbf{\theta }-{\mathbf{\theta }}^{\prime }\right).$$
其中，第一项 $L(\theta {)}^{\prime }$ 告诉我们，当 $\theta$ 跟 ${\theta }^{\prime }$ 很近的时候，$L(\theta )$ 应该跟 $L({\theta }^{\prime })$ 还蛮靠近的；第二项 $(\theta -{\theta }^{\prime }{)}^{T}g$ 中，$g$ 代表梯度，它是一个向量，可以弥补 $L({\theta }^{\prime })跟L(\theta )$ 之间的差距。第三项跟梅森矩阵$H$ 有关，

在临界点，梯度$g$ 为0，也就是第二项为0，则损失函数可近似为:
$$L(\mathbf{\theta })\approx L\left({\mathbf{\theta }}^{\prime }\right)+\frac{1}{2}{\left(\mathbf{\theta }-{\mathbf{\theta }}^{\prime }\right)}^{\mathrm{T}}\mathbf{H}\left(\mathbf{\theta }-{\mathbf{\theta }}^{\prime }\right);$$
我们可以根据$\frac{1}{2}{\left(\theta -{\theta }^{\prime }\right)}^{\mathrm{T}}\mathbf{H}\left(\mathbf{\theta }-{\mathbf{\theta }}^{\prime }\right)$来判断在${\mathbf{\theta }}^{\prime }$附近的误差表 (error surface) 到底长什么样子。知道误差表面的“地貌”,我们就可以判断$L({\mathbf{\theta }}^{\prime })$是局部极小值、局部极大值，还是鞍点。为了符号简洁，我们用向量$v$来表示$\theta -{\theta }^{\prime },$