线性代数笔记3：向量投影

向量投影是线性代数中很重要的应用，用于找到向量到目标投影空间的投影向量。这是下一节线性回归的基础。

$Ax=b$有解时

当计算线性方程组$Ax=b$ 有解时， $b$就在$C(A)$的子空间中，则$Ax= b$在$C(A^T)$中有唯一解。我们考虑$x$的投影。
设$\alpha \in \mathbb {R}^n$是$Ax= b$的解，则$\alpha = \alpha_r + \alpha_n，\alpha_r \in C(A^T)，\alpha_n \in N(A)$。则：

$$\alpha _r 是\alpha 在C(A^T)的投影。$$
$$\alpha _n 是\alpha 在N(A)的投影。$$

$Ax=b$无解时

当计算线性方程组 $Ax=b$ 时， 它可能是无解的，此时我们可以考虑求 $\hat{x} \in \mathbb{R}^{n}$，使得|| $A \hat{x} - b$ || 最小或极小？这就意味着当 $b \notin C(A)$ 时，我们需要求解 $C(A)$ 上距离 $b$ 最近的点 $A \hat{x}$ ， 它就是$b$ 在 $C(A)$ 上的投影点。这对于我们理解最小二乘法很有帮助，具体请参考下一章。

以三维空间为例，目标投影空间可能是线，也可能是面。投影的实质就是找一个函数，从而使得 $P(B) = b$ ，也就找到了 $B$ 在某一维度的映射。类似的，在线性代数中，我们需要找到投影矩阵