梯度下降法

梯度下降法

基本概念

由函数 B=f(A)，得到 A、B 两个数集，在 A 中当 dx 靠近自己时，函数在 dx 处的极限叫作函数在 dx 处的微分，微分的中心思想是无穷分割。
微分是函数改变量的线性主要部分。
微积分的基本概念之一。

梯度：

是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
例：

梯度：

由此，看来梯度是一个向量，向量包括大小和方向；
所以梯度的方向就指出了函数在给定点的上升最快的方向；
而梯度的反方向就是函数在给定点下降最快的方向。
梯度下降法：

是一个一阶最优化算法。
要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。
如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

梯度下降法手工求解

题目：

求函数

的极小值点。
手工求解过程：

设置初始点及学习率：

计算初始点的梯度：

更新迭代公式：

Excel 实现梯度下降法求解

求解

的近似根。

设置表格的一些基本内容：

设置（x，y）初始值为（2，1），其它地方输入相应的公式




迭代多次后结果如下：

由此，可得到其近似值为（1，0），迭代很多次才得到想要的结果