本文比较了梯度下降法与牛顿法在无约束最优化问题中的应用。相同点在于两者都是常用的优化方法。不同点包括原理（梯度下降沿等高线法向，牛顿法沿椭圆中心方向），收敛速度（牛顿法更快），计算量（牛顿法需要计算海森矩阵逆），以及步长控制（牛顿法逐步减小步长）。深度学习常使用梯度下降，原因是非凸问题的收敛性、Hessian矩阵的计算难度以及避免鞍点问题。
两种方法的详细讲解可以参考：
梯度下降算法（Gradient Descent Optimization）
牛顿法（Newton Methods）、阻尼牛顿法和拟牛顿法
相同点
二者都是求解无约束最优化问题的常用方法
不同点
（1）原理方面
梯度下降法的搜索方向是沿着等高线的法向量方向进行搜索，每次迭代优化方向为梯度方向，即当前点所在等高线的法向。但往往等高线很少是正圆形，这种情况下搜索次数会过多。
牛顿法搜索方向为椭圆中心方向，这个方向也叫做牛顿方向，牛顿法的更新方程 H k − 1 ∇ f ( X k ) H_k^{-1} \nabla f(X_k) H
最低0.47元/天 解锁文章
扫一扫
63
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
