【Datawhale X 李宏毅苹果书 AI夏令营】深度学习基础1

【Datawhale X 李宏毅苹果书 AI夏令营】深度学习基础1

关键词：鞍点，海森矩阵

1.极值？鞍点？

理论部分

临界情况：优花遇到了局部最小值，或者遇到了鞍点

鞍点：顾名思义，在空间中形如马鞍，梯度为0但不是局部最小值

很显然，鞍点仍然有优化空间。如何判断当前遇到了鞍点还是极小值点呢？可以利用某一组参数θ\thetaθ附近的损失函数的泰勒级数近似：

​​

如果是在临界点附近，梯度近似为0，∀v=θ−θ′,vTHv\forall v=\theta-\theta^{\prime},v^{T}Hv∀v=θ