3.5 四个子空间的维度

一、概述

这一节的主要定理是将秩与维度联系在一起。矩阵的秩就是主元的个数，子空间的维度是基向量的个数，我们计算出这两个数就可以得到秩与维度。$A$ 的秩揭露了四个基本子空间的维度。
四个子空间中，两个子空间来自 $A$，另外两个来自 $A^T$：

四个基本子空间

1. 行空间 $C(A^T)$，是 ${\text{R}}^n$ 中的一个子空间。
2. 列空间 $C(A)$，是 ${\text{R}}^m$ 中的一个子空间。
3. 零空间 $N(A)$，是 ${\text{R}}^n$ 中的一个子空间。
4. 左零空间 $N(A^T)$，是 ${\text{R}}^m$ 中的一个子空间。

行空间是所有行的线性组合，$A$ 的行空间就是 $A^T$ 的列空间。
对于左零空间，我们需要求解 $A^T\mathbf{y}=0$ —— 这是一个 $n\times m$ 的系统，它其实就是 $A^T$ 的零空间。两边同时转置，这个方程就会写成 ${\mathbf{y}}^{T}A=0^T$，此时向量 $\mathbf{y}$ 出现在 $A$ 的左侧，这就是左零空间名字的由来。一般来说矩阵 $A$ 和 $A^T$ 不一样，它们的列空间和零空间也不一样。但是这些空间可以通过一种很好的方式联系起来。
基础定理的第一部分就是找到四个子空间的维度，一个重要的事实：行空间与列空间有相同的维度 $r$。数字 $r$ 就是矩阵的秩；另一个重要事实与两个零空间相关：$$N(A)和N(A^T)的维度分别是n-r和m-r，它们分别与行空间和列空间的维度加起来是n和m。$$基础定理的第二部分将会描述如何将这四个子空间合在一起（两个在 ${\text{R}}^n$ 中，两个在 ${\text{R}}^m$ 中）。通过这些从不同的角度完全理解 $A\mathbf{x}=\mathbf{b}$，这些是真正的数学。

二、R 的四个子空间

假设 $A$ 简化成了它的行阶梯形式 $R$，这种特殊的形式很容易确认它的四个子空间，我们会找到每个子空间的基和维度。然后回过头看 $A$ 的子空间是如何变化到（有两个是不变的）。重点是 $A$ 和 $R$ 四个子空间的维度均相等。
以一个 $3\times 5$ 的矩阵为例，看一下行阶梯形式 $R$ 的四个子空间：$$\begin{array}{r}m=3\\ n=5\\ r=2\end{array}R=\left[\begin{array}{ccccc}1& 3& 5& 0& 7\\ 0& 0& 0& 1& 2\\ 0& 0& 0& 0& 0\end{array}\right]\begin{array}{c}主元行是行1和行2\\ \\ 主元列是列1和列4\end{array}$$这个矩阵的秩 $r=2$（两个主元），下面依次看四个子空间。

1、$R$ 的行空间维度是 $2$，与秩相同。

理由： 前两行就是行空间一组基。行空间包含三行的所有线性组合，但是第三行（零行）没有任何贡献。因此行 $1$ 和行 $2$ 张成行空间 $C(R^T)$。
主元行 行$1$ 和行 $2$ 是无关的，这个例子可以明显看出来，而且任意时候都是正确的。如果我们只看主元列的话，就可以看到一个 $r\times r$ 的单位矩阵，除了所有系数为 $0$ 的组合，没有办法将这些行组合成零行。因此 $r$ 个主元行是行空间的一组基。$$行空间的维度是r，R的非零行形成一组基。$$

2、$R$ 列空间的维度也是 $r=2$。

理由： 主元列列 $1$ 和列 $4$ 是列空间 $C(R)$ 的一组基。这两列是无关的，因为它们的开头是一个 $r\times r$ 的单位矩阵。除了所有系数为 $0$ 的组合，它们的线性组合无法得到零列，这些列可以张成列空间。另外的自由列是这些主元列的线性组合。实际上这些组合需要下面三个特殊解！$$\begin{array}{ll}\text{Column}2=3(\text{Column}1)& 特殊解是(-3,1,0,0,0)\\ \text{Column}3=5(\text{Column1})& 特殊解是(-5,0,1,0,0)\\ \text{Column}5=7(\text{Column}1)+2(\text{Column4})& 特殊解是(-7,0,0,-2,1)\end{array}$$主元列是无关的，它们张成列空间，因此它们是 $C(R)$ 的一组基。$$列空间的维度是秩r，主元列是列空间的一组基。$$

3、$R$ 零空间的维度是 $n-r=5-2$。因为有 $n-r=3$ 个自由变量，这里 $x_2,x_3,x_5$ 是自由变量，因为这些列没有主元。它们提供了三个使得 $R\mathbf{x}=0$ 的解，令一个自由变量为 $1$，其它的均为 $0$，就可以求解出 $x_1$ 和 $x_4$。

$${\mathbf{s}}_2=\left[\begin{array}{c}-3\\ 1\\ 0\\ 0\\ 0\end{array}\right],{\mathbf{s}}_3=\left[\begin{array}{c}-5\\ 0\\ 1\\ 0\\ 0\end{array}\right],{\mathbf{s}}_5=\left[\begin{array}{c}-7\\ 0\\ 0\\ -2\\ 1\end{array}\right]\begin{array}{l}R\mathbf{x}=0的完全解：\\ \mathbf{x}=x_2{\mathbf{s}}_2+x_3{\mathbf{s}}_3+x_5{\mathbf{s}}_5\\ 零空间的维度是3。\end{array}$$理由： 这是对每个自由变量的一个特殊解。如果有 $n$ 个变量 $r$ 个主元，那么有 $n-r$ 个自由变量和特殊解。这些特殊解是无关的，因为在行 $2,3,5$ 包含一个单位矩阵。因此 $N(R)$ 的维度是 $n-r$。$$零空间的维度是n-r，特殊解是一组基。$$

4、$R^T$ 的零空间（$R$ 的左零空间）的维度是 $m-r=3-2$。

理由： 方程 $R^T\mathbf{y}=0$ 是为了找到 $R^T$ 列的线性组合得到零向量。方程 $R^T\mathbf{y}=0$ 也可以写成 ${\mathbf{y}}^{T}R=0^T$ 就是：$$\begin{array}{l}左零空间\\ R行的组合\\ 得到零行\end{array}\begin{array}{r}{y}_1\left[\begin{array}{ccccc}1,& 3,& 5,& 0,& 7\end{array}\right]\\ +y_2\left[\begin{array}{ccccc}0,& 0,& 0,& 1,& 2\end{array}\right]\\ +y_3\left[\begin{array}{ccccc}0,& 0,& 0,& 0,& 0\end{array}\right]\\ \left[\begin{array}{ccccc}0,& 0,& 0,& 0,& 0\end{array}\right]\end{array}(\mathrm{3.5.1})$$此时解 $y_1,y_2,y_3$ 就很清晰了，只需要 $y_1=0$，$y_2=0$，变量 $y_3$ 是自由的，可以为任何数。$R^T$ 的零空间包含有所有向量 $\mathbf{y}=(0,0,y_3)$。
在所有的情形下 $R$ 的尾端都会有 $m-r$ 个零行，这些零行的任意组合都会得到零行，只有这些零行 $R$ 的线性组合才可能得到零，因为主元行是线性无关的。因此左零空间中的 $\mathbf{y}$ 有 $y_1=0,y_2=0,\cdots ,y_r=0$。$$如果A是m\times n的矩阵，秩为r,它的左零空间的维度是m-r。$$

在 ${\text{R}}^n$ 中，行空间和零空间的维度分别是 $r$ 和 $n-r$（加起来是 $n$）。
在 ${\text{R}}^m$ 中，列空间和左零空间的维度分别是 $r$ 和 $m-r$ （总和是 $m$）。

三、A 的四个子空间

$A$ 子空间的维度与 $R$ 子空间的维度相同。下面解释为什么会这样。$A$ 是任意矩阵，可以简化为 $R=rref(A)$。$$A简化为RA=\left[\begin{array}{ccccc}1& 3& 5& 0& 7\\ 0& 0& 0& 1& 2\\ 1& 3& 5& 1& 9\end{array}\right]注意C(A)\ne C(R)!(\mathrm{3.5.2})$$
1、$A$ 和 $R$ 有相同的行空间。它们的维度和基也相同。
理由： $A$ 的每一行都是 $R$ 行的组合，$R$ 的每一行也都是 $A$ 行的组合。消元会改变行，但是不改变行空间。
由于 $A$ 和 $R$ 有相同的行空间，我们可以选择 $R$ 的前 $r$ 个行作为一组基。或者选择原始的矩阵 $A$ 合适的 $r$ 行，它们可能不是 $A$ 的前 $r$ 行，因为这些行可能相关。$A$ 的无关行最后就是 $R$ 的主元行。
2、 $A$ 列空间的维度是 $r$。列秩等于行秩。
$$秩定理：无关列的个数=无关行的个数$$“$A$ 与 $R$ 有相同的列空间” 这句话是错误的。错误理由： $R$ 的列通常是以 $0$ 结束的，但是 $A$ 的列不常以 $0$ 结束，因此 $C(A)\ne C(R)$。
正确的理由：$A$ 和 $R$ 相同列的组合都是零（或非零）。$A$ 中相关 $\iff$ $R$ 中相关。换句话说：当 $R\mathbf{x}=0$ 时，才有 $A\mathbf{x}=0$。列空间不同，但是它们的维度是相同的，都等于 $r$。$$结论：A的r个主元列是它列空间C(A)的一组基。$$3、$A$ 和 $R$ 有相同的零空间。相同的维度 $n-r$ 和相同的基。
理由： 消元步骤不改变解，特殊解是零空间的一组基。有 $n-r$ 个自由变量，因此维度也是 $n-r$。这就是计数定理（Counting Theorem）：$r+(n-r)=n$。

$$(列空间的维度)+(零空间的维度)={\text{R}}^n的维度$$

4、$A$ 的左零空间（$A^T$ 的零空间）的维度是 $m-r$。
理由： $A^T$ 和 $A$ 本质上是一样的，当我们知道 $A$ 每一个子空间的维度，就知道了 $A^T$ 每一个子空间的维度。它的列空间已经证明了维度是 $r$，因为 $A^T$ 是 $n\times m$ 的矩阵，所以现在它零空间所在的整个空间就是 ${\text{R}}^m$ 空间。$A$ 的计数规则是 $r+(n-r)=n$，$A^T$ 的计数规则就是 $r+(m-r)=m$。大定理的所有细节也就得到了：

$$\begin{array}{l}线性代数的基本定理，第一部分\\ \\ 列空间和行空间的维度都是r\\ 零空间和左零空间的维度分别是n-r和m-r\end{array}$$

我们聚焦于向量空间，而不是个别的数字或向量，得到了这些清晰的规则。有时候会很明显，但是对于一个 $11\times 17$ 的矩阵有 $187$ 个非零单元的话，可能就不那么明显了，但是仍然有：$$两个关键的事实\begin{array}{l}C(A)的维度=C(A^T)的维度=A的秩\\ C(A^T)的维度+N(A)的维度=17\end{array}$$【例1】$A=\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$ 有 $m=1,n=3$，秩 $r=1$。
行空间是 ${\text{R}}^3$ 中的一条线；零空间是平面 $A\mathbf{x}=x_1+2x_2+3x_3=0$，这个平面的维度是 $2$（即 $3-1$）。它们的维度相加 $1+2=3$。
这个 $1\times 3$ 矩阵的列在 ${\text{R}}^1$ 中，它的列空间就是整个 ${\text{R}}^1$；左零空间只有零向量，$A^T\mathbf{y}=0$ 的唯一解就是 $\mathbf{y}=0$，$\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$ 没有其它的倍数可以得到零行。因此 $N(A^T)$ 就是 $\text{Z}$，它的维度是 $0$（即 $m-r$）。在 ${\text{R}}^1$ 中，$C(A)$ 和 $N(A^T)$ 的维度相加 $1+0=1$。【例2】$A=\left[\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right]$ 有 $m=2,n=3$，秩 $r=1$。
与例1相同，行空间也是一条穿过 $(1,2,3)$ 的直线；零空间是同样的平面 $x_1+2x_2+3x_3=0$。这条线和平面的维度相加仍然是 $1+2=3$。
所有的列都是第一列 $(1,2)$ 的倍数。两倍的行 $1$ 减去行 $2$ 得到零行，因此 $A^T\mathbf{y}=0$ 有解 $\mathbf{y}=(2,-1)$。列空间和左零空间是 ${\text{R}}^2$ 中两条垂直的直线。维度相加 $1+1=2$。$$列空间=穿过\left[\begin{array}{c}1\\ 2\end{array}\right]的直线左零空间=穿过\left[\begin{array}{c}2\\ -1\end{array}\right]的直线$$如果 $A$ 有三个相等的行，则它的秩是 $1$。那么左零空间的两个 $\mathbf{y}$ 是什么？$$左零空间中的{\mathbf{y}}^{\prime }s是得到零行的组合。$$【例3】如 Figure3.6 所示，每一条边对应一个方程，每个节点对应一个未知数。$A\mathbf{x}=\mathbf{b}$ 中的矩阵 $A$ 是一个关联矩阵（incidence matrix），$A$ 的每一行都有一个 $1$ 和 $-1$。

$$\begin{array}{l}差分A\mathbf{x}=\mathbf{b}\\ 在节点1,2,3,4之间\\ 有5条边1,2,3,4,5\end{array}\begin{array}{l}-x_1+x_2=b_1\\ -x_1+x_3=b_2\\ -x_2+x_3=b_3\\ -x_2+x_4=b_4\\ -x_3+x_4=b_5\end{array}(\mathrm{3.5.3})$$

如果理解了四个基本子空间（$A$ 和 $A^T$ 的列空间和零空间），那么就抓住了线性代数的中心概念。
零空间 $N(A)$：为了求零空间，设 $\mathbf{b}=0$。那么第一个方程就是 $x_1=x_2$，第二个方程是 $x_1=x_3$，第四个方程是 $x_2=x_4$，四个未知数 $x_1,x_2,x_3,x_4$ 有相同的值 $c$。向量 $\mathbf{x}=(c,c,c,c)$ 填满了 $A$ 的零空间。
零空间是 ${\text{R}}^4$ 中的一条线，特殊解 $\mathbf{x}=(1,1,1,1)$ 是 $N(A)$ 的一组基，$N(A)$ 的维度是 $1$（因为基中只有一个向量）。$A$ 的秩是 $3$，因为 $n-r=4-3=1$。那么现在我们就可以知道四个子空间的维度了。
列空间 $C(A)$：因为 $r=3$，所以一定有 $r=3$ 个无关列。快的方法是看前三列，系统性的方法是求出 $R=rref(A)$。$$\begin{array}{l}A的1,2,3列\end{array}\begin{array}{rrr}-1& 1& 0\\ -1& 0& 1\\ 0& -1& 1\\ 0& -1& 0\\ 0& 0& -1\end{array}R=简化行阶梯形式=\left[\begin{array}{cccc}1& 0& 0& -1\\ 0& 1& 0& -1\\ 0& 0& 1& -1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$$从 $R$ 中也可以看到特殊解是 $\mathbf{x}=(1,1,1,1)$。前三列是无关的，第四列是自由列。为了得到 $C(A)$（不是 $C(R)$）的一组基，需要回到矩阵 $A$ 的列 $1,2,3$，列空间的维度是 $r=3$。
行空间 $C(A^T)$：行空间的维度也是 $r=3$，但是 $A$ 的前三行是相关的：$\text{row}3=\text{row2}-\text{row}1$。因此消元后第三行会变成零，第三行会被交换到第四行。前三个无关行是行 $1,2,4$。这三行也是行空间的一组基。
注意到图中的边 $1,2,3$ 形成了一个回路（loop）：行 $1,2,3$ 是相关行。图中的行 $1,2,4$ 形成一个树（tree） ，树没有回路！ 行 $1,2,4$ 是无关行。
左零空间 $N(A^T)$：我们现在求解 $A^T\mathbf{y}=0$，即使得行为零的组合。我们已经注意到 $\text{row}3=\text{row}2-\text{row}1$，因此一个解是 $\mathbf{y}=(1,-1,1,0,0)$。有一个结论：$\mathbf{y}$ 来自于图上面一个回路。另一个 $\mathbf{y}$ 来自于图的下面一个回路：$\mathbf{y}=(0,0,-1,1,-1)$，$\text{row}3=\text{row}4-\text{row}5$。这两个 ${\mathbf{y}}^{\prime }s$ 是无关的，它们都是 $A^T\mathbf{y}=0$ 的解，$N(A^T)$ 的维度是 $m-r=5-3=2$。因此它们是左零空间的一组基。
那么 “回路” 和 “树” 是怎么进入到这个问题中的呢？实际上我们并不是非要这样做。我们可以使用消元法去求解 $A^T\mathbf{y}=0$。$A^T$ 是一个 $4\times 5$ 的矩阵，它有三个主元列 $1,2,4$ 和两个自由列 $3,5$；有两个特殊解所以 $A^T$ 的零空间是 $2$：$m-r=5-3=2$。但是回路和树可以用一种很美妙的方法来鉴别相关行和无关行。
方程 $A\mathbf{x}=\mathbf{b}$ 在 $4$ 个节点上得到电压 $x_1,x_2,x_3,x_4$，方程 $A^T\mathbf{y}=0$ 在 $5$ 条边上得到电流 $y_1,y_2,y_3,y_4,y_5$。这两个方程分别是基尔霍夫电压定律（Kirchhoff’s Voltage Law）和基尔霍夫电流定律（Kirchhoff’s Current Law），这是应用在电路上的术语。但是隐藏在术语后的思想可以应用在所有的工程、科学、经济和商务。
图是离散应用数学中最重要的模型，我们可以在任何地方看到它：路、管道、血液流动、大脑、网络、国家或世界的经济。我们可以了解它们的矩阵 $A$ 和 $A^T$。

四、秩一矩阵

假设每行都是第一行的倍数，下面是一个典型的例子：$$\left[\begin{array}{cccc}2& 3& 7& 8\\ 2a& 3a& 7a& 8a\\ 2b& 3b& 7b& 8b\end{array}\right]=\left[\begin{array}{c}1\\ a\\ b\end{array}\right]\left[\begin{array}{cccc}2& 3& 7& 8\end{array}\right]=\mathbf{u}{\mathbf{v}}^T$$左边的矩阵有三行，但是它的行空间维度 $r=1$。行向量 ${\mathbf{v}}^T=\left[\begin{array}{cccc}2& 3& 7& 8\end{array}\right]$ 告诉了我们行空间的一组基。行秩为 $1$。
现在看一下列，“列秩等于行秩等于 $1$”。所有的列都是第一列的倍数。列向量 $\mathbf{u}=\left[\begin{array}{ccc}1& a& b\end{array}\right]$ 乘上 $2,3,7,8$。非零向量 $\mathbf{u}$ 是列空间的基。列秩也是 $1$。

每个秩一矩阵都是一列乘上一行$A=\mathbf{u}{\mathbf{v}}^T$

五、秩二矩阵 = 秩一加秩一

矩阵 $A$ 的秩 $r=2$，我们无法立即看出 $A$ 的秩 $r$ 是多少，因此我们通过行运算简化成矩阵 $R=rref(A)$。一些消元矩阵 $E$ 可以简化 $A$ 到 $R$，有 $EA=R$，则逆矩阵 $C=E^{-1}$ 可以将 $R$ 恢复到 $A=CR$。
这里的重点是：$R$ 和 $A$ 有相同的行空间。$$秩二A=\left[\begin{array}{ccc}1& 0& 3\\ 1& 1& 7\\ 4& 2& 20\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ 4& 2& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 3\\ 0& 1& 4\\ 0& 0& 0\end{array}\right]=CR(\mathrm{3.5.4})$$可以很明显的看到 $R$ 的两个基向量 ${\mathbf{v}}_1^T=\left[\begin{array}{ccc}1& 0& 3\end{array}\right]$ 和 ${\mathbf{v}}_2^T=\left[\begin{array}{ccc}0& 1& 4\end{array}\right]$。因此 $A$ 的行空间也有同样的基：$行秩=2$。$C$ 乘 $R$ 表明 $A$ 的行 $3$ 是 $4{\mathbf{v}}_1^T+2{\mathbf{v}}_2^T$。
现在来看列。$R$ 的主元列是 $(1,0,0)$ 和 $(0,1,0)$，那么 $A$ 的主元列也是列 $1$ 和列 $2$：${\mathbf{u}}_1=(1,1,4)，{\mathbf{u}}_2=(0,1,2)$。注意 $C$ 的前两列和 $A$ 的相同！这是可以被保证的，因为 $C$ 乘上 $R$ 前两列的单位矩阵并不会改变主元列 ${\mathbf{u}}_1$ 和 ${\mathbf{u}}_2$。
如果将这些字母放在列和行中，则就可以看到 $\text{Rank2=rank1+Rank1}$。$$秩二矩阵AA=\left[\begin{array}{ccc}{\mathbf{u}}_1& {\mathbf{u}}_2& {\mathbf{u}}_3\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_1^T\\ {\mathbf{v}}_2^T\\ 0\end{array}\right]={\mathbf{u}}_1{\mathbf{v}}_1^T+{\mathbf{u}}_2{\mathbf{v}}_2^T=\text{(rank1)+(rank1)}$$上述最后一个步骤，利用矩阵的列乘行，对这个问题是个完美的方法。每个秩 $r$ 的矩阵都是 $r$ 个秩一矩阵的和：$A$ 的主元列乘上 $R$ 的非零行，行 $\left[\begin{array}{ccc}0& 0& 0\end{array}\right]$ 也消失了。
主元列 ${\mathbf{u}}_1$ 和 ${\mathbf{u}}_2$ 是列空间的一组基。

六、主要内容总结

1. $R$ 的 $r$ 个主元行是 $R$ 和 $A$ 行空间的一组基（它们行空间相同）。
2. $A$ 的 $r$ 个主元列是列空间 $C(A)$ 的一组基。
3. $n-r$ 个特殊解是 $A$ 和 $R$ 零空间（相同的零空间）的一组基。
4. 如果 $EA=R$，则 $E$ 的最后 $m-r$ 行是 $A$ 左零空间的一组基。

四个子空间的注释： 基础定理看起来很像纯代数，但是它有非常重要的应用。关于左零空间中的 $\mathbf{y}$ 的方程是 $A^T\mathbf{y}=0$：$$流入一个节点等于流出，基尔霍夫电流定律是一个“平衡方程”$$平衡方程是应用数学中最重要的方程，所有的科学、工程和经济都与平衡有关 —— 力、热流、电荷、动量或金钱的平衡。平衡方程，加上胡克定律、欧姆定律、或是位能到流量的相关定律，给了应用数学一个清晰的框架。

七、例题

【例4】将 $4$ 个 $1$ 放入 $5\times 6$ 的零矩阵中，描述所有使得它的行空间的维度尽可能小的方法；描述出所有使它列空间的维度尽可能小的方法；描述所有使得它零空间的维度尽可能小的方法。如何让它四个子空间的和最小？
解： 如果 $4$ 个 $1$ 放在同一行或同一列，则它的秩为 $1$，也可以放在两行和两列（例如 $a_{ii}=a_{ij}=a_{ji}=a_{jj}=1$ 这种情况），因为行空间和列空间总是有相同的维度，前两问题的维度是 $1$。
当矩阵的秩 $r=4$ 时，零空间的维度最小 $6-4=2$，此时需要 $4$ 个 $1$ 要在不同的行也要在不同的列。
四个子空间维度的和 $r+(n-r)+r+(m-r)=n+m$，无论我们将 $1$ 怎么放，它们维度的和都是 $6+5=11$，就算这个矩阵里没有任何 $1$，和仍然是 $11$。

【例5】事实：$AB$ 所有行都是 $B$ 行的组合，因此 $AB$ 的行空间包含在（可能相等） $B$ 的行空间中。$\text{Rank}(AB)\le \text{Rank}(B)$。
$AB$ 所有列都是 $A$ 列的组合，因此 $AB$ 的列空间包含在（可能相等）$A$ 的列空间中。$\text{Rank}(AB)\le \text{Rank}(A)$。
如果左乘一个可逆矩阵，秩不会改变。