最速下降法和共轭梯度法

方法原理

求解特殊类型(对称正定矩阵$A$)的线性方程组

$$Ax=b$$
二次型引理: 上述问题 $Ax=b$等价于极小化二次型

$$q(x)=x^TAx-2x^Tb$$

对于$\forall \bf{x}$,沿着从x出发的任意$\bf{v}$的射线$\bf{x}+t\bf{v}$都可以在$t=\hat{t}$处求得其在该射线上的极小值

q