解线性方程组——最速下降法及图形化表示 | 北太天元 or matlab

文章所对应的视频讲解 最速下降法 解线性方程组

一、思路转变

A为对称正定矩阵，$$Ax=b$$

求解向量$x$这个问题可以转化为一个求$f(x)$极小值点的问题，为什么可以这样：

$$f(x)=\frac{1}{2}{x}^{T}Ax-x^{T}b+c$$

可以发现：

$$\nabla f=\mathrm{grad}f=Ax-b$$

由$A$的正定性可以保证$f(x)$的驻点一定是极小值点。而$Ax-b=0$得到的就是$f(x)$的驻点，即：

$$f(x^{\ast })=\min f(x)\iff \nabla f(x^{\ast })=A{x}^{\ast }-b=0$$

把解线性方程组的问题，转化为求函数$f(x)$的极小值点。

二、最速下降法

怎么找到这个极小值点?

已知一个多元函数沿其负梯度方向函数值下降得最快。

一种较为形象的解释：

想象自己在半山腰上，要到山脚处：

• 首先要找好下降方向：负梯度方向
• 之后沿着选定方向直走
• 走到不能再下降为止（也就是选定方向的最低点），停下来，再找新的下降方向
• 重复上面的过程，便能到达山脚

翻译成数学语言

• 给定任意初值 x 0 x_0 x