非线性系列（二）—— 共轭梯度法 Conjugate Gradient Method （线性及非线性）

1. 线性共轭梯度法

共轭梯度法（英语：Conjugate gradient method），是求解系数矩阵为对称正定矩阵的线性方程组的数值解的方法。

共轭梯度法是一个迭代方法，它适用于

1. 求解线性方程组，

2. 共轭梯度法也可以用于求解无约束的最优化问题。

我们想最小化目标函数f(x)，假设其拥有二次形式：

最优化问题表示如下：

上式可以等价于求解线性方程组 Ax = b，因为

目标方程的梯度为：

此外，双共轭梯度法（英语：BiConjugate gradient method）提供了一种处理非对称矩阵情况的推广。

共轭梯度法中，搜索方向p，是关于A共轭的，即

因此也称为共轭方向（conjugate directions）。

示例：

代码：