梯度下降法

假设$f(x)$具有一阶连续偏导，求解无约束最优化问题：$mi{n}_{x\in R^n}f(x)$则可以利用梯度下降法。凸函数运用梯度下降法可以得到全局最优解，否则有可能是局部最优。

梯度下降法是一种迭代算法。选取适当的处置$x^{(0)}$，不断迭代，更新$x$的值对目标函数进行极小化，直到收敛。

负梯度方向是使函数下降最快的方向，故以负梯度方向更新$x$的值，从而不断达到极小化函数的目的。

$f(x)-f(x_0)\approx ▽f(x)(x-x_0)$
$x$是更靠近极小值得点，我们希望$f(x)-f(x_0)<0$，所以$▽f(x)<0$，则$x$以负梯度方向移动。

设更新得步长为$\eta$，则$x:x-\eta ▽f(x)$。

算法：
输入：目标函数$f(x)$，梯度函数$▽f(x)$，计算精度$ϵ$;
输出：$f(x)$的极小点。