线性代数之——最小二乘

1. 最小二乘

\(Ax=b\) 经常会没有解，当方程个数大于未知数个数，也即 \(m>n\) 时，列空间并不是 \(R^m\) 空间的全部，因此 \(b\) 可能不在列空间中，这时候方程组就无解，但我们不应该就此而停止。

也就是误差 \(e = b-Ax\) 并不总是能得到 0，这时候，如果误差 \(e\) 的长度尽可能的小，那我们就得到了最小二乘解 \(\hat x\)。

当 \(Ax=b\) 无解的时候，我们乘以 \(A^T\) 来求解 \(A^TAx=A^Tb\)。

假如我们要找到一条直线，让它距离 (0, 6) ，(1, 0)，(2, 0) 这三点最近。没有直线 \(b = C+Dt\) 同时穿过这三点，我们要找的两个常数 \(C\) 和 \(D\)。

\[\begin{alignedat}{3} &C\quad+ \quad&am