秩 的概述——线代面试必问1

秩

在线性代数(linear algebra)中，矩阵 $A$ 的秩是由它的列向量生成（张成）的列空间的维度。这对应 $A$ 中线性无关（linearly independent）的列的极大数目。这也和它的行向量张成的行空间的维度相等。因此，秩是由 $A$ 表示的线性方程组和线性变换的“非退化性”（nondegenerateness）的度量。秩有多个等价定义。矩阵的秩是它最基本（fundamental）的特征之一。

从行阶梯形得到秩

求矩阵秩的一种常用方法是通过初等行变换（elementary row operations）将其简化为更简单的形式，通常是行阶梯形（row echelon form）。行变换不改变行空间(因此不改变行秩)，并且，由于是可逆的，映射列空间到同构（isomorphic）空间(因此不改变列秩)。一旦变成行最简形，行秩和列秩显然是相同的，等于主元（pivot）数和非零行数。主元是指每一行第一个非零元素。

例如，矩阵
$$A=\left[\begin{array}{ccc}1& 2& 1\\ -2& -3& 1\\ 3& 5& 0\end{array}\right]$$
可以通过以下初等行运算将其化为行最简形:

$$\begin{array}{rl}\left[\begin{array}{ccc}1& 2& 1\\ -2& -3& 1\\ 3& 5& 0\end{array}\right]& \stackrel{2R_1+R_2\to R_2}{\to }\left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 3\\ 3& 5& 0\end{array}\right]\stackrel{-3R_1+R_3\to R_3}{\to }\left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 3\\ 0& -1& -3\end{array}\right]\\ & \stackrel{R_2+R_3\to R_3}{\to }\left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 3\\ 0& 0& 0\end{array}\right]\stackrel{-2R_2+R_1\to R_1}{\to }\left[\begin{array}{ccc}1& 0& -5\\ 0& 1& 3\\ 0& 0& 0\end{array}\right].\end{array}$$

最终的矩阵(行最简形)有两个非零行，因此矩阵 $A$ 的秩是2。

列秩=行秩的证明（任意形状的矩阵都成立，不一定是方阵）

可以很直观地表明，行秩和列秩都不会被初等行变换改变。当高斯消元（Gaussian elimination）通过初等行变换进行时，矩阵的行最简形具有与原始矩阵相同的行秩和列秩。进一步的，初等列变换将矩阵变为含有单位矩阵（identity matrix）的形式（相抵标准形），可能含0元素的行和列边界。同样，这既不会改变行秩，也不会改变列秩。由此得到的矩阵的行和列的秩是其非零元素的数目，注意单位矩阵非零元素只在其主对角线上，非零元素个数等于其阶数。下述矩阵为相抵标准形。其中，$${\mathbf{I}}_r$$为单位矩阵。
$$\left[\begin{array}{cc}{\mathbf{I}}_r& \vec{0}\\ \vec{0}& \vec{0}\end{array}\right]$$

使用线性组合证明

令 $A$ 是一个 $m\times n$ 的矩阵。
$$A=[{\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3,\dots ,{\mathbf{a}}_n{]}_{1\times n}$$
注意，上述矩阵 $A$ 以列分块矩阵表示。 $a_i$表示 矩阵 $A$ 的第 $i$ 个列向量。

令其列秩为 $r$ ，而且令 ${\mathbf{c}}_1,\dots ,{\mathbf{c}}_r$ 是 $A$ 列空间的任意一个基。将这个基排列成一个 $m\times r$ 的矩阵 $C$ 。$A$ 的每一列都可以被表示成 $C$ 中 $r$ 个列向量的线性组合（linear combination）。
$$\begin{gathered} {\mathbf{a}}_1=k_{11}{\mathbf{c}}_1+k_{12}{\mathbf{c}}_2+k_{13}{\mathbf{c}}_3+\cdots +k_{1r}{\mathbf{c}}_r \\ {\mathbf{a}}_2=k_{21}{\mathbf{c}}_1+k_{22}{\mathbf{c}}_2+k_{23}{\mathbf{c}}_3+\cdots +k_{2r}{\mathbf{c}}_r \\ ⋮ \\ {\mathbf{a}}_n=k_{n1}{\mathbf{c}}_1+k_{n2}{\mathbf{c}}_2+k_{n3}{\mathbf{c}}_3+\cdots +k_{nr}{\mathbf{c}}_r \end{gathered}$$
这意味着存在一个 $r\times n$ 的矩阵 $R$ ，满足 $A=CR$ 。$R$ 中的每一列是基的线性组合的系数。
$$[{\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3,\dots ,{\mathbf{a}}_n{]}_{1\times n}=[{\mathbf{c}}_1,\dots ,{\mathbf{c}}_r{]}_{1\times r}\times R$$

$$R={\left[\begin{array}{cccc}{k}_{11}& k_{21}& \cdots & k_{n1}\\ k_{12}& k_{22}& \cdots & k_{n2}\\ ⋮& & & \\ k_{1r}& k_{2r}& \cdots & k_{nr}\end{array}\right]}_{r\times n}$$

现在重写 $R$，将其行分块。得：
$$R={\left[\begin{array}{c}{\mathbf{r}}_1\\ {\mathbf{r}}_2\\ ⋮\\ {\mathbf{r}}_r\end{array}\right]}_{r\times 1}$$
重写 $A$， 将其行分块，得：
$$A={\left[\begin{array}{c}{\mathbf{a}}_1\\ {\mathbf{a}}_2\\ ⋮\\ {\mathbf{a}}_m\end{array}\right]}_{m\times 1}$$
将 $C$ 写成
$$C={\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1r}\\ c_{21}& c_{22}& \cdots & c_{2r}\\ ⋮& & & \\ c_{m1}& c_{m2}& \cdots & c_{mr}\end{array}\right]}_{m\times r}$$
$$A={\left[\begin{array}{c}{\mathbf{a}}_1\\ {\mathbf{a}}_2\\ ⋮\\ {\mathbf{a}}_m\end{array}\right]}_{m\times 1}={\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1r}\\ c_{21}& c_{22}& \cdots & c_{2r}\\ ⋮& & & \\ c_{m1}& c_{m2}& \cdots & c_{mr}\end{array}\right]}_{m\times r}\times {\left[\begin{array}{c}{\mathbf{r}}_1\\ {\mathbf{r}}_2\\ ⋮\\ {\mathbf{r}}_r\end{array}\right]}_{r\times 1}$$

现在，A的每一行都由 $R$ 的 $r$ 行 线性组合给出。因此， $R$ 的行向量是 $A$ 的行空间的一个基，而且由于Steinitz exchange 引理（在附录有详细说明），$A$ 的行秩不能超过 $r$ 。这个证明了 $A$的行秩小于等于列秩。由于上面推导过程可以适用于任何矩阵，所以把它应用在矩阵 $A$ 的转置上。由于 $A^T$ 的行秩是 $A$ 的列秩，同时 $A^T$ 的列秩是 $A$ 的行秩。所以得到 $A$ 的列秩小于等于行秩。所以 $A$ 的行秩等于列秩。

注：利用分块矩阵证明时，一般是
$$矩阵A列分块=矩阵B列分块\times 矩阵C的非分块形式$$

$$矩阵A行分块=B非分块形式\times 矩阵C的行分块形式$$

还有
$$Ax$$
表示的矩阵 $A$ 列空间中的某个向量。因为将矩阵 $A$ 按列分块，向量 $x$ 中的元素作为线性组合的标量系数，那么整个 $Ax$ 就是矩阵 $A$ 列向量的线性组合。

使用正交性证明

令 $A$ 是一个 $m\times n$ 的矩阵，矩阵的行秩是 $r$, 矩阵元素属于实数域。因此，矩阵 $A$ 行空间的维度是 $r$ 。令
$${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_r$$
是 $A$ 的行空间的一个基。

${\mathbf{x}}_i,i=1,2,\dots r$ 是 $n\ast 1$的向量 （转置了）。
$$A{\mathbf{x}}_1,A{\mathbf{x}}_2,\dots ,A{\mathbf{x}}_r$$
是线性无关的。为什么？考虑下列齐次线性关系，其中 $c_1,c_2,\dots ,c_r$ 是标量系数
$$\vec{0}=c_{1}A{\mathbf{x}}_1+c_{2}A{\mathbf{x}}_2+,\cdots +c_{r}A{\mathbf{x}}_r=A(c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_r{\mathbf{x}}_r)=A\mathbf{v},$$
其中 $\mathbf{v}=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_r{\mathbf{x}}_r$ 。不难观察出：

1. $\mathbf{v}$ 是 $A$ 的行空间中的向量的线性组合，这意味着 $\mathbf{v}$ 属于行空间。
2. 因为 $A\mathbf{v}=\vec{0}$ ，所以向量 $v$ 和 $A$ 的每一个行向量 正交（orthogonal）（将矩阵 $A$ 行分块），因此和 $A$ 的行空间中每一个向量正交。

上述事实1和2推导出 向量 $\mathbf{v}$ 和它自己正交。这证明了 $\mathbf{v}=\vec{0}$，或者根据 $\mathbf{v}$ 的定义：
$$c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_r{\mathbf{x}}_r=\vec{0}$$
由于 { x 1 , x 2 , … , x r } \{\bold{x}_1,\bold{x}_2,\dots,\bold{x}_r\} {x1​,x2​,…,xr​} 是 $A$ 的行空间的一个基，所以是线性无关的。这推导出 $c_1=c_2=\cdots =c_r=0$ 。故$A{\mathbf{x}}_1,A{\mathbf{x}}_2,\dots ,A{\mathbf{x}}_r$ 是线性无关的。

现在，
$$A={\left[\begin{array}{c}{\mathbf{a}}_1\\ {\mathbf{a}}_2\\ ⋮\\ {\mathbf{a}}_m\end{array}\right]}_{m\times 1}{\mathbf{x}}_{\mathbf{i}}={\left[\begin{array}{c}{x_i}_1\\ x_{i2}\\ ⋮\\ x_n\end{array}\right]}_{n\times 1}$$

每一个 $A{\mathbf{x}}_i$ 显然是 $A$ 列空间的一个向量（矩阵 $A$ 按行分块，向量 ${\mathbf{x}}_i$ 每个元素作为线性组合的标量系数）。 故，$A{\mathbf{x}}_1,A{\mathbf{x}}_2,\dots ,A{\mathbf{x}}_r$ 是$A$ 的列空间 中 $r$ 个线性无关的向量，而且 $A$ 的列空间的维度大于等于 $r$ （这是显然的，因为列空间已经存在 $r$ 个线性无关的向量，至少有 $r$ 个，有没有更多的线性无关向量不知道，但是有这个可能性）。这证明了 $A$ 的行秩小于等于列秩。现在对 $A^T$ 同样进行类似推导，即可得到 $A$ 的列秩小于等于行秩的结论。即证明得到 $A$ 的行秩等于列秩。

替代定义

在这个版块中，矩阵 $A$ 都是 $m\times n$ 的矩阵，在任意数域 $F$ 上。

像的维度

给定矩阵 $A$ ，其对应的线性映射 （linear mapping）
$$f:F^n\mapsto F^m$$
由
$$f(x)=Ax$$
定义

$A$ 的秩是 $f$ 的像的维度。这个定义的优点在于适用于任何线性映射，而不是某个特定的矩阵。

考虑零度（nullity）的秩

给定和上面一样的线性映射 $f$ ，它的秩是
$$n-dim(kerel(f))$$
即 $n$ 减去 $f$ 的核的维度。秩-零化度定理（rank-nullity theorem）（博主之前的这篇博客有证明）表明这个定义和前面的定义是等价的。

列秩-列空间的维度

$A$ 的秩是 $A$ 的列向量中的极大无关组的向量的个数。这是 $A$ 列空间的维度。（列空间是 $F^m$ 的子空间，由 $A$ 的列向量生成，事实上这就是与 $A$ 相关的线性映射 $f$ 的像）

行秩-行空间的维度

$A$ 的秩是 $A$ 的行向量中的极大无关组的向量的个数。这是 $A$ 行空间的维度。

分解秩（Decomposition rank）

$A$ 的秩是最小的整数 $k$， $s.t.$ $A$ 可以被分解为 $A=CR$ ，其中 $C$ 是一个 $m\times k$ 的矩阵，$R$ 是一个 $k\times n$ 的矩阵，下列叙述等价：

1. $A$ 的列秩小于等于 $k$，
2. 存在 $k$ 个大小为 $m$ 的列向量${\mathbf{c}}_1,{\mathbf{c}}_2，\dots ,{\mathbf{c}}_k$ s.t. $A$ 的每一列都能表示成它们的线性组合，
3. 存在一个 $m\times k$ 的矩阵 $C$ 和一个 $k\times n$ 的矩阵$R$ 满足$A=CR$ （当 $k$ 是秩，此时是 $A$ 的一个秩分解），
4. 存在 $k$ 个大小为 $m$ 的列向量${\mathbf{r}}_1,{\mathbf{r}}_2，\dots ,{\mathbf{r}}_k$ s.t. $A$ 的每一行都能表示成它们的线性组合，
5. $A$ 的行秩小于等于 $k$

事实上，上述5个结论等价是很显然的。比如，证明从2中能推出3，令矩阵 $C$ 的列向量是2中的${\mathbf{c}}_1,{\mathbf{c}}_2，\dots ,{\mathbf{c}}_k$ 。证明从3能推出2，取3中的矩阵 $C$ 的列向量作为 ${\mathbf{c}}_1,{\mathbf{c}}_2，\dots ,{\mathbf{c}}_k$ 即可。

考虑奇异值的秩

$A$ 的秩等于非零奇异值的数目，这和奇异值分解
$$A=U\Sigma V^T$$
中 $\Sigma$ 中非零对角元素的个数相等。

与行列式有关的秩（Determinantal rank）

$A$ 的秩是 $A$ 中任意非零余子式（non-zero minor）中拥有最高阶（order）的余子式的阶。

和分解秩一样，这种定义并没有给出一个计算秩的高效方法，但是它在理论上是有用的：针对矩阵的秩，一个非零余子式提供了一个下界（它的阶）。对于证明某些操作不会降低矩阵的秩，它是有效的。

命题：若矩阵$A$中有一个 $k$ 阶子式不等于 0，则 $rank(A)\ge k$; 若 $A$ 的所有 $l$ 阶子式都等于 $0$，则 $rank(A)＜l$

引理：将矩阵 $A$ 划去若干行得到矩阵 $B$，则 $rank(B)\le rank(A)$

证明：如果 $A$ 中有一个 $k$ 阶子式不等于零，则将这个子式所在的行对调到前$ k$ 行，并对这 $k$ 行进行初等 行变换，可以变成一个阶梯型子块，该子块中不可能有一行全部为零，否则与原 $k$ 阶子式不等于 0 矛盾，则根据引理，$R(A)\ge k$; 若$A$ 的所有 $l$ 阶子式都等于 $0$，则将 $A$ 等价变成阶梯型后非零行的个数不可能大于或等于 $l$，否则 $A$ 中应至少有一个 $l$ 阶子式不为零，所以 $R(A)＜l$．

评注：如果一个矩阵的行列式不为0，那么经过有限次初等行变换，矩阵不可能出现全零行，否则它的行列式为0。上面的证明要结合子块和整个大矩阵两个层次去看。

性质

我们假设 $A$ 是一个 $m\times n$ 的矩阵，而且我们定义线性映射 $f$ ,通过 $f(\mathbf{x})=A\mathbf{x}$

• 一个 $m\times n$ 矩阵的秩是非负整数，而且不能大于 $m$ 或者 $n$ 。即：

  $rank(A)\le min(m,n)$

  一个矩阵的秩如果为 $min(m,n)$ ，则它是满秩的（full rank），否则是秩亏（rank deficient）。

• 只有零矩阵（所有元素都是0，zero matrix）的秩才是0。

• $f$ 是单射(或“一对一”,injective)当且仅当 $A$ 有秩 $n$ (在这种情况下，我们说$A$有满列秩)。

• $f$是满射(surjective)当且仅当 $A$ 有秩 $m$ (在这种情况下，我们说A有满行秩)。

• 如果 $A$ 是一个方阵(即 $m=n$)，则 $A$ 是可逆的当且仅当 $A$ 的秩为$n$(即$A$的秩满)。

• 如果 $B$ 是任意的 $n\times k$ 矩阵，则
  $$rank(AB)\le min(rank(A),rank(B))$$

• 如果 $B$ 是任意的 $n\times k$ 矩阵，秩为 $n$ 则
  $$rank(AB)=rank(A)$$

• 如果 $C$ 是一个 $l\times m$ 的矩阵，秩为 $m$ ,则
  $$rank(CA)=rank(A)$$

• $A$ 的秩为 $r$ 当且仅当 存在一个可逆的 $m\ast m$ 矩阵 $X$ 和一个可逆的 $n\times n$ 的矩阵 $Y$ 满足
  $$XAY=\left[\begin{array}{cc}{\mathbf{I}}_r& \vec{0}\\ \vec{0}& \vec{0}\end{array}\right]$$
  其中，${\mathbf{I}}_r$ 表示一个 $r\times r$ 的单位阵。

• Sylverster的 秩不等式，矩阵 $B$ 是 $n\times k$ 的矩阵，则
  $$rank(A)+rank(B)-n\le rank(AB)$$
  这个不等式是下个不等式的一个特例

• Frobenius不等式，如果 $AB,ABC,BC$ 都有定义，则
  $$rank(AB)+rank(BC)\le rank(B)+rank(ABC)$$

• Subadditivity:
  $$rank(A+B)\le rank(A)+rank(B)$$
  当 $A$ 和 $B$ 拥有相同维度。作为一个结论，一个秩为 $k$ 的矩阵可以被写成 $k$ 个秩为1的矩阵的和，但是不能更少。

• 矩阵的秩加上矩阵的零度等于矩阵的列数（rank-nullity theorem）

• 如果 $A$ 是一个在实数域上的矩阵，那么 $A$ 的秩和 $A$ 对应的 Gram 矩阵（度量矩阵）的秩相等。因此，对于实数阵，有
  $$rank(A^{T}A)=rank(A{A}^T)=rank(A)=rank(A^T)$$
  这个可以通过证明他们的零空间（null spaces）相等来说明。Gram矩阵的零空间是由
  $$A^{T}A\mathbf{x}=\vec{0}$$
  中的向量 $\mathbf{x}$ 构成。

• 如果 $A$ 是一个在复数域上的矩阵，而且 $\overline{A}$表示 $A$ 的共轭（complex conjugate），而且$A^{\ast }$ 表示共轭转置，则
  $$rank(A)=rank(\overline{A})=rank(A^T)=rank(A^{\ast })=rank(A^{\ast }A)=rank(A{A}^{\ast })$$

附录

Steinitz exchange 引理

如果 U = { u 1 , … , u m } U = \{u_1,\dots,u_m\} U={u1​,…,um​} 是一个含有 $m$ 个线性无关向量的集合，它在向量空间 $V$ 中。而且 W = { w 1 , … , w n } W = \{w_1,\dots,w_n\} W={w1​,…,wn​} 张成 $V$ ，则：

1. $m\le n$；

2. 存在一个集合 $W^{{}^{\prime }}\subset W$，$|W^{{}^{\prime }}|=n-m$, s.t. $U\cup W^{{}^{\prime }}$ 张成 $V$ 。

参考文献

1. 维基百科Rank (linear algebra)
2. 王玉富.矩阵秩的不同定义及其比较[J].湖北民族学院学报(自然科学版),2011,29(03):264-267.