weixin_39574797的博客

原创 Datawhale X 李宏毅苹果书 AI夏令营 Task1 学习笔记

我们一般说优化到某个地方的时候，这个地方的参数对损失的微分为0，当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。在用深层网络做优化的时候，随着参数的不断更新，对应的损失却不再下降，但是并没有到达一个理想的最低值，这样的优化是存在问题的，也就是陷入局部最优了。但是如果给定某一组参数，比如 θ′，在 θ′ 附近的损失函数是有办法写出来的。判断一个临界点到底是局部极小值还是鞍点需要知道损失函数的形状，但实际。即梯度是零且区别于局部极小值和局部极大值。