线性代数笔记4：最小二乘法

最小二乘法大家都很熟悉了，今天以向量投影的角度重新认识它。

引入

回到解方程组$Ax = b$。
若$Ax = b$ 有解，则$b\in C(A)$。
若$Ax = b$ 有解，则$b\notin C(A)$，转化为问题求：$\hat{x}$使得||$A\hat{x} - b$||最小，即$min_{x\in R^n}||A\hat{x}-b||$的最小值点。
由上一讲可知，最小值其实就是$e = b- A\hat x$，即误差向量。在空间中表示为$b 在C(A)$上的投影。
因此，我们可以求得投影向量$p = A\hat x$，然后根据$e \perp C(A)$得到法方程组：$A^TA\hat x= A^Tb$。
法方程组有几个重要的性质：

1. 法方程组总有解（无论A是否列满秩）。
2. ATAx^=