重磅！一文读懂线性方程组的求解方法

线性方程组的求解是计算机视觉工程实践中经常碰到的问题,这篇文章对其常见解法进行整理和总结.先上结论:

针对线性方程组$Ax=b$的求解问题，我们按照系数矩阵$A$的性质进行分类讨论。

1.$A$为方阵

• $det(A)\ne 0$

  方程组有唯一解.

• $det(A)=0$

  • 若 $r(A)<r(A,b)$,则方程组无解
  • $r(A)=r(A,b)<n$,则方程组有无穷多解

求解方法在数值分析这门课程中有详细介绍，可分为两类：

直接法

直接法主要针对低阶稠密矩阵（200阶以内）

• Gauss消去法及其改进（列选主元的Gauss消去法）
• 直接三角分解法（LU分解,LDU分解,Cholesky分解(针对对称正定矩阵),Gauss消去法的代数实质就是LU分解）

迭代法

迭代法主要针对大型矩阵，而且在实际中，这类矩阵通常在结构上有特点，比如稀疏

• 雅可比迭代法
• 高斯-赛德尔迭代法
• 超松弛（SOR）迭代法

2.$A$为非方阵且$A\in R^{m\times n},m>n$

行数大于列数,即方程数目大于未知数个数.此时方程组称为超定方程组,一般来说无精确解,但可以求其最小二乘解.所谓的最小二乘解是指:在欧几里得空间中以2-范数作为距离，使得向量$Ax$与$b$之间距离最小的$x$.这个问题在优化理论中被称为线性最小二乘问题（这个概念与非线性最小二乘相对应，两者的区别见https://www.jianshu.com/p/bf6ec56e26bd），即我们的目标转换为下式:
$$\underset{x\in R^n}{\min }{\Vert Ax-b\Vert }_2$$

先给出三个定理,说明超定方程组最小二乘解的存在性和唯一性

• 定理1

  超定方程组必存在最小二乘解，且$x$是方程组的最小二乘解的充要条件是: $x$是$A^{T}Ax=A^{T}b$的解

• 定理2

  若$r(A)=n<m$，超定方程组存在唯一最小二乘解

• 定理3

  若$r(A)<n<m$，则超定方程组有无穷多个最小二乘解，其中2-范数最小的解称为方程组的最小二范数解，且该解是唯一的

下面按照$A$的秩分类讨论.

2.1. $r(A)=n<m$

此情形对应于定理2

正规方程法

证明:
$$\begin{gathered} {\Vert Ax-b\Vert }_2^2={(Ax-b)}^T\ast (Ax-b) \\ {\Vert Ax-b\Vert }_2^2=x^T{A}^{T}Ax-b^{T}Ax-x^T{A}^{T}b+b^{T}b \\ 求导并令导数为0:\frac{\partial {{\Vert Ax-b\Vert }_2}^2}{\partial x}=2A^{T}Ax-2A^{T}b=0 \\ 得到方程:A^{T}Ax=A^{T}b \\ 因为r(A^{T}A)=r(A),所以det(A^{T}A)\ne 0 \\ x=(A^{T}A{)}^{-1}{A}^{T}b \end{gathered}$$
$A^{T}Ax=A^{T}b$称为正规方程组, $(A^{T}A{)}^{-1}{A}^T$称为广义逆

缺点:

1. 数值不稳定
2. 需要求逆,计算量大

SVD法

这里先给出矩阵的SVD(奇异值分解)的定义:

对于任意给定的$A\in R^{m\times n}$,都存在正交矩阵$U\in R^{m\times m}$,$V\in R^{n\times n}$使得$A=US{V}^T$

其中:

$U$的列向量为$A{A}^T$的特征向量

$V$的列向量为$A^{T}A$的特征向量