线性代数之——子空间投影

1. 投影

向量 $b=(2,3,4)$ 在 $z$ 轴上和在 $xy$ 平面上的投影是什么，哪个矩阵能产生到一条线上和到一个平面的投影？

当 $b$ 被投影到 $z$ 轴上时，它的投影 $p$ 就是 $b$ 沿着那条线的部分。当 $b$ 被投影到一个平面时，它的投影就是 $b$ 在平面中的部分。

到 $z$ 轴上的投影 $p_1=(0,0,4)$，到 $xy$ 平面上的投影 $p_2=(2,3,0)$，两个投影矩阵 $P_1$ 和 $P_2$ 分别为

$P_1$ 就是选出每个向量的 $z$ 分量， $P_2$ 就是选出每个向量的 $x$ 和 $y$ 分量。

在这个例子中，$z$ 轴和 $xy$ 平面是正交子空间，就像地面和两面墙的交线一样。

除此之外，它们还是正交补的。整个空间的任意向量都可以表示为它们在两个子空间中分量的和。

2. 到一条线上的投影

假设一条过原点的直线方向为 $a=(a_1,a_2,\cdots ,a_m)$，我们要将点 $b=(b_1,b_2,\cdots ,b_m)$ 投影到这条直线上。

投影 $p$ 和 $a$ 在一条直线上，因此有 $p=\hat{x}a$，误差 $e=b-p=b-\hat{x}a$，然后由 $e$ 垂直于 $a$，我们可得。

$$e\cdot a=0\to (b-\hat{x}a)\cdot a=0\to a\cdot b-\hat{x}a\cdot a=0$$

因此，可求得系数 $\hat{x}$ 为

$$\hat{x}=\frac{a\cdot b}{a\cdot a}=\frac{a^{T}b}{a^{T}a}$$

投影为 $p=\hat{x}a=\frac{a^{T}b}{a^{T}a}a$。

如果 $b=a$，那么 $\hat{x}=1$，投影还是它自己，$Pa=a$。 如果 $b\perp a$，那么 $\hat{x}=0$，投影为 0。

将投影重写为 $p=a\hat{x}=a\frac{a^{T}b}{a^{T}a}=\frac{a{a}^T}{a^{T}a}b$。因此，投影矩阵 $P=\frac{a{a}^T}{a^{T}a}$。

如果向量 $a$ 变为两倍，投影矩阵 $P$ 不变，它还是投影到同一条直线。如果投影矩阵平方，那就是进行两次投影，和进行一次投影是一样的结果，因此有 $P^2=P$。

同时，$I-P$ 也是一个投影矩阵，$(I-P)b=b-p=e$。当 $P$ 投影到一个子空间时，$I-P$ 投影到和它垂直的另一个子空间。

3. 到子空间的投影

假设 $n$ 个 ${\mathbf{R}}^m$ 空间中的向量 $a_1,\cdots ,a_n$ 是线性不相关的，我们想找到一个线性组合 $p={\hat{x}}_1{a}_1+\cdots +{\hat{x}}_n{a}_n$ 使得 $p$ 距离一个给定向量 $b$ 最近。

$a_1,\cdots ,a_n$ 可以看做是矩阵 $A$ 的列，我们要找的线性组合是在矩阵 $A$ 的列空间中。我们要找的是距离$b$ 最近的一个组合 $A\hat{x}$，也就是 $b$ 在列空间的投影。

同理，误差 $e=b-A\hat{x}$ 垂直于子空间，也就是垂直于子空间的所有向量。

也即

$$A^T(b-A\hat{x})=0\to A^{T}A\hat{x}=A^{T}b$$

$A^{T}A$ 是一个 n×n 的矩阵，因为 $A$ 的列是线性不相关的，所以其是可逆的。可得线性组合系数为

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$

所以有，投影和投影矩阵分别为

$$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$$

$$P=A(A^{T}A{)}^{-1}{A}^T$$

由 $A^T(b-A\hat{x})=0$ 可知，误差 $e$ 位于 $A$ 的左零空间 $N(A^T)$ 中，向量 $b$ 被分为了投影 $p$ 和误差 $e$ 两部分。

$A^{T}A$ 是可逆的当且仅当 $A$ 的列是线性不相关的。

当 $Ax=0$ 时，我们有 $A^{T}Ax=0$。而当 $A^{T}Ax=0$ 时，我们有
$$x^T{A}^{T}Ax=0\to (Ax{)}^{T}Ax=0\to Ax=0$$

因此 $A^{T}A$ 和 $A$ 有着一样的零空间，当 $A$ 的列线性不相关时，$A^{T}A$ 是一个方阵，对称并且可逆。

获取更多精彩，请关注「seniusen」!