共轭梯度法(Conjugate Gradient Method)

我们要求解线性方程组

$$Ax=b$$
其中 $A$ 是对称正定矩阵（spd），给定 $R^n$中n个线性无关的向量 $r_0,r_1,\cdots,r_{n-1}$, 我们想要构造另外的一组基 $p_0,p_1,\cdots,p_{n-1}$, 并满足
$$\langle p_i, p_j\rangle=0,\quad \forall i\neq j$$
其中内积 $\langle \cdot ,\cdot \rangle$ 待定，上述性质就是共轭性。
然后将解表示为
$$x=\sum_{i=0}^{n-1}\alpha_i p_i$$
利用共轭性， 我们有
$$\alpha_i = \frac{\langle x,p_i\rangle}{\langle p_i,p_i\rangle},\quad \forall i=0,1,\cdots,n-1$$
根据问题的特性和矩阵的对称正定性， 我们定义内积如下
$$\langle x,y\rangle =x^TAy,\quad \forall x,y\in R^n$$
那么

αi=⟨x,pi⟩⟨pi,pi⟩=xTApipTiApi=bTpipTiApi,∀i