数值优化方法:梯度下降，最速梯度下降与共轭梯度下降

数值优化方法:梯度下降，最速梯度下降与共轭梯度下降

本文对常见的数值优化方法进行总结，重点关注优化方法的原理、迭代过程和计算复杂度。常见的数值优化方法包括梯度下降法（最速梯度下降法）、牛顿法、共轭梯度下降法等。本笔记的算法思路只是便于对各种优化方法进行理解，并不是完整的逻辑推导，如果想了解其中的数学推导，建议还是查看相关教材。（文章里公式渲染有点慢，需要等一会）

本文相关代码在https://github.com/flztiii/numerical_optimization_test.git

梯度下降算法

算法思路

考虑到以下问题,找到一个$x^{\ast }$使$f(x^{\ast })<f(x),\forall x\in R^n$。梯度下降算法的思路很简单：每一次迭代的点要比上一次次迭代点的值更小。用公式表达就是

$f(x_{k+1})$ < $f(x_k)(1)$

接下来就是如何根据这个思路得到从$x_k$到$x_{k+1}$的增量$\Delta x$。可以对$f(x)$进行一阶泰勒展开，表达式如下所示

$f(x+\Delta x)=f(x)+f^{{}^{\prime }}(x)\cdot \Delta x(2)$

再根据公式(2)，可以得到

$f(x+\Delta x)-f(x)=f^{{}^{\prime }}(x)\cdot \Delta x$ < $0(3)$

那么，只要满足公式(4)的条件，就可以得到$f(x+\Delta x)$ < $f(x)$。为了使公式(4)成立，可以令(总所周知，平方大于0)

$\Delta x=-\alpha \cdot f^{{}^{\prime }}(x),\alpha$ > $0(4)$

所以，可以得到从$x_k$到$x_{k+1}$的迭代过程满足

$x_{k+1}=x_k+\Delta x=x_k-\alpha \cdot f^{{}^{\prime }}(x_k)(5)$

时，始终存在$f(x_{k+1})<f(x_k)$。也就是一开始谈到的思路，只要不断寻找值更小的点，就可以最终找到最小值。

算法过程

1. 给出初始点$x_0$，学习率$\alpha$
2. 计算$x_0$处的梯度$f^{{}^{\prime }}(x_0)$
3. 判断$|f^{{}^{\prime }}(x_0)|$是否小于阈值$\delta$，如果小于，停止迭代，算法结束
4. 得到下一个迭代点$x_1=x_0-\alpha \cdot f^{{}^{\prime }}(x_0)$
5. 重复2-4过程

算法总结

梯度下降算法是最为基础的优化方法之一，它只需要知道梯度方法，不需要计算海森矩阵。计算复杂度较低。但是此方法容易陷入局部极小值，收敛结果对初始点和学习率的要求较高。

最速梯度下降

算法思路

最速梯度下降算法与梯度下降算法思路相似，都是希望每一次迭代的点要比上一次次迭代点的值更小。但是最速梯度下降算法与梯度下降算法的不同之处在于，它对学习率进行了调整，使学习率并不是一个固定值，而是不断变化的。

最速梯度下降算法希望在$x_k$处沿梯度方法$f(x_k)$下降时，找到一个学习率${\alpha }_k$，使得沿$f(x_k)$下降量比选择其他$\alpha$都要大。用公式表达就是

${\alpha }_k=argmi{n}_{\alpha }f(x_k-\alpha \cdot f^{{}^{\prime }}(x_k))(6)$

以上就是最速梯度下降算法的核心。接下来，使用二次型为例子，继续进行说明。（因为二次型具有比较好的性质）我们假设

$f(x)=\frac{1}{2}{x}^{T}Ax-b^{T}x(7)$

则可以计算得到f(x)的梯度和海森矩阵分别为

$f^{{}^{\prime }}(x)=Ax-b(8)$
$f^{{}^{\prime \prime }}(x)=A(9)$

同时我们可以令

$g(\alpha )=f(x_{k+1})=f(x_k-\alpha f^{{}^{\prime }}(x_k))(10)$

则公式(6)的必要条件为$\frac{dg(\alpha )}{d\alpha }=0$。因此，我们通过公式(10)中可以得到

$g^{{}^{\prime }}(\alpha )=-f^{{}^{\prime }}(x_{k+1}{)}^T{f}^{{}^{\prime }}(x_{}$