牛顿法通常比梯度下降法收敛更快，因为牛顿法采用二阶收敛，能更好地模拟局部曲面，从而选择更接近最优的下降路径。相比之下，梯度下降法仅考虑一阶信息，可能需要更多步才能到达最小值。通过用二次曲面拟合局部曲面，牛顿法在迭代中更能预测下一步的最优方向。
问题：为什么通常牛顿法比梯度下降法能更快的收敛？
解答：牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更
问题：为什么通常牛顿法比梯度下降法能更快的收敛？
解答：牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更
订阅专栏 解锁全文
扫一扫
6847
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
