梯度下降法是解决无约束优化问题的一种算法，寻找多元函数的最大值或最小值。它利用函数梯度方向作为最陡增减方向，以迭代方式逼近极值点。在求最小值时，沿着梯度的反方向更新位置，迭代直到梯度幅值接近于零。此方法在实践中常用于机器学习和深度学习中的参数优化。
梯度下降法又叫最速下降法，英文名为steepest descend method.估计搞研究的人应该经常听见这个算法吧，用来求解表达式最大或者最小值的，属于无约束优化问题。
首先我们应该清楚，一个多元函数的梯度方向是该函数值增大最陡的方向。具体化到1元函数中时，梯度方向首先是沿着曲线的切线的，然后取切线向上增长的方向为梯度方向，2元或者多元函数中，梯度向量为函数值f对每个变量的导数，该向量的方向就是梯度的方向，当然向量的大小也就是梯度的大小。
现在假设我们要求函数的最值，采用梯度下降法，如图所示：
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
