梯度下降方法

参考：https://baike.baidu.com/item/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D/4864937?fr=aladdin

定位

梯度下降是迭代法的一种，用来求解最小二乘法问题。

计算方法

迭代公式：
其中$\stackrel{-(k)}{s}$表示代表梯度负方向，${\rho }_k$表示梯度方向上的搜索步长，也就是学习速率。

• 步长的确定：大了容易发散，小了收敛速度会慢

举例

求该函数的最小值：
①求梯度，即求导，即2x
②进行迭代，即向相反的反向移动x。迭代公式为$x\leftarrow x-\lambda \ast 梯度$，$\lambda$是步长。

当几次迭代出来的函数值几乎没有变化时，就说明函数达到了局部的最小值。