参考来源:(6 封私信 / 20 条消息) 什么是梯度下降法? - 知乎 (zhihu.com) ------------马同学
snake方程最后的求解涉及到了梯度下降法
梯度下降法 梯度下降法是用来计算函数最优值的

高数中计算最优值比如:

要求它的最小值点就需要解如下方程组:

现在我们不用这种方法去求解最优值
原理:
梯度向量
假设起点在
,也就是将球放在![]()

它的梯度为 1 维向量:

这是在
轴上的向量,它指向函数值增长最快的方向,而
就指向减少最快的方向:

将
也看作 1 维向量,通过和
相加,可以将之向
移动一段距离得到新的向量![]()

其中
称为步长,通过它可以控制移的动距离,通过它可以控制移的动距离,设
,那么
![]()
此时小球(也就是起点)下降到了![]()

迭代
的梯度为:
![]()
继续沿着梯度的反方向走:
![]()
小球就滚到了更低的位置:

重复上述过程到第 10 次,小球基本上就到了最低点,即有![]()

本文深入解析梯度下降法,从概念出发,通过球面滚动示例讲解原理,演示如何在高数优化问题中寻找最小值,包括迭代过程和步长调整,适合理解优化算法的读者。
6446

被折叠的 条评论
为什么被折叠?



