损失函数的最值和鞍点的判断

$L(\theta )$ arond $\theta$ = ${\theta }^{\prime }$能用下面的公式逼近：

$$L(\theta )\approx L({\theta }^{\prime })+(\theta -{\theta }^{\prime }{)}^{T}g+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^{T}H(\theta -{\theta }^{\prime })$$

梯度$g$ 是一个矢量:
$g=\nabla L({\theta }^{\prime })g_i=\frac{\partial L({\theta }^{\prime })}{\partial {\theta }_i}$

Hessian $H$ 是一个矩阵 ,表示 L的二次微分，二次微分加上一次微分可以近似L
$H_{ij}=\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}L({\theta }^{\prime })$

当$\theta ={\theta }^{\prime }$时，一次微分消失，可以用二次微分表示以下情况：

令 $v=\theta -{\theta }^{\prime }$
假设 对于任意的$v$
$v^{T}Hv>0$ ⇒ $L(\theta )>L({\theta }^{\prime })$⇒ local mnima
=$H$ 是一个正定矩阵即所有的特征值都是正数

假设 对于任意的$v$
$v^{T}Hv<0$ ⇒ $L(\theta )<L({\theta }^{\prime })$⇒ local maxima
=$H$ 是一个负定矩阵即所有的特征值都是负数

有时$v^{T}Hv>0$,有时$v^{T}Hv<0$⇒ Saddle point

有时通过H可以知晓参数更新的方向！

$u$是一个$H$征向向量，$\lambda$ 一个$u$的特征值，可以得出：
$$u^{T}Hu=u^T(\lambda u)=\lambda \Vert u{\Vert }^2$$
$$\lambda <0\Rightarrow u<0\Rightarrow L(\theta )<L({\theta }^{\prime })$$

沿着特征向量的方向更新方向。

$$L(\theta )\approx L({\theta }^{\prime })+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^{T}H(\theta -{\theta }^{\prime })\Rightarrow L(\theta )<L({\theta }^{\prime })$$

举例

$$L=(\hat{y}-w_1{w}_{2}x{)}^2=(1-w_1{w}_2{)}^2$$
倒数为：
$$\begin{gathered} \frac{\partial L}{\partial w_1}=2(1-w_1{w}_2)(-w_2) \\ \frac{\partial L}{\partial w_1}=2(1-w_1{w}_2)(-w_1) \end{gathered}$$
驻点 : $w1=0,w2=0$

$$\mathbf{H}=\left[\begin{array}{cc}0& -2\\ -2& 0\end{array}\right],{\lambda }_1=2,{\lambda }_2=-2$$

$${\lambda }_2有特征值u=\left[\begin{array}{c}1\\ 1\end{array}\right]$$
从$(0,0)$沿着这个特征向量的方向更新损失