不相容方程组的最小二乘解

不相容方程组的最小二乘解

如果给定的线性方程组$Ax=b​$无解，那么我们希望退而求其次——求一个近似的$x^\star​$,使得残差向量（Residual Vector）$r=Ax^\star(拟合值)-b(观测值)​$尽可能的小。在实际应用方面，任何最小化残差向量的方法，都可以用于寻找数据的最小二拟合。

残差向量：数理统计中观测值与估计值（拟合值）之间的差。

不相容方程组的一个常见来源是超定方程组（方程个数多于未知数的方程组）。例如：

$$\begin{aligned} x_1+4x_2 & =-2 \\ x_1+2x_2 & =-2 \\ 2x_1+3x_2 & =-2 \end{aligned}$$
超定方程组常常是不相容的，上面这个例子也不例外。可以看到上述方程组可以写作 $Ax=b$的形式。其中

A=11242