最小二乘法求解超定方程的原理

假设

我们要求解一个方程$$AX=0$$
其中，A是一个$n\ast m$的矩阵，X是一个$m\ast 1$的向量
一般情况下，n>>m，这就是一个超定方程了，理论上无解，但是我们可以求得最小二乘意义下的解

求解过程

$$min||AX|{|}_2^2$$

---

$$||AX|{|}_2^2=(AX{)}^T(AX)=X^T{A}^{T}AX$$
此时令$B=A^{T}A$,并且设B的特征值以及特征向量为${\lambda }_i,\overrightarrow{b_i}$,此时可以得到几个结论

1. X肯定可以表示为X