参考来源:(6 封私信 / 20 条消息) 什么是梯度下降法? - 知乎 (zhihu.com) ------------马同学
snake方程最后的求解涉及到了梯度下降法
梯度下降法 梯度下降法是用来计算函数最优值的
高数中计算最优值比如:
要求它的最小值点就需要解如下方程组:
现在我们不用这种方法去求解最优值
原理:
梯度向量
假设起点在,也就是将球放在
它的梯度为 1 维向量:
这是在 轴上的向量,它指向函数值增长最快的方向,而
就指向减少最快的方向:
将也看作 1 维向量,通过和
相加,可以将之向
移动一段距离得到新的向量
其中称为步长,通过它可以控制移的动距离,通过它可以控制移的动距离,设
,那么
此时小球(也就是起点)下降到了
迭代
的梯度为:
继续沿着梯度的反方向走:
小球就滚到了更低的位置:
重复上述过程到第 10 次,小球基本上就到了最低点,即有