【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营

局部极小值与鞍点

梯度为0的点我们统称为临界点，包括局部极小值、鞍点等
局部极小值和鞍点的梯度都为0，那如何判断呢？
先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。
由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：

其中，θ是模型中的参数的取值，θ’是在θ附近的取值。
H是海森矩阵，$H_{ij}$是L对${\theta }_i$和 θ j \theta_j