4.1 四个子空间的正交性

一、四个子空间的正交性

如果两个向量的点积为零,则两个向量正交:v⋅w=vTw=0\boldsymbol v\cdot\boldsymbol w=\boldsymbol v^T\boldsymbol w=0vw=vTw=0。本章着眼于正交子空间正交基正交矩阵。两个子空间的中的向量,一组基中的向量和 QQQ 中的列向量,它们所有的配对向量都是正交的。对于直角三角形有 a2+b2=c2a^2+b^2=c^2a2+b2=c2,两条直角边分别是 v\boldsymbol vvw\boldsymbol ww

正交向量vTw=0 且 ∣∣v∣∣2+∣∣w∣∣2=∣∣v−w∣∣2\pmb{正交向量}\kern 35pt\boldsymbol v^T\boldsymbol w=0\,且\,||\boldsymbol v||^2+||\boldsymbol w||^2=||\boldsymbol v-\boldsymbol w||^2正交向量vTw=0∣∣v2+∣∣w2=∣∣vw2

vTw=wTv=0\boldsymbol v^T\boldsymbol w=\boldsymbol w^T\boldsymbol v=0vTw=wTv=0 时,右边 (v+w)T(v−w)=vTv+wTw(\boldsymbol v+\boldsymbol w)^T(\boldsymbol v-\boldsymbol w)=\boldsymbol v^T\boldsymbol v+\boldsymbol w^T\boldsymbol w(v+w)T(vw)=vTv+wTw
第三章我们主要是讨论 Ax=bA\boldsymbol x=\boldsymbol bAx=b,我们需要列空间和零空间,然后视线转到 ATA^TAT,会需要另外两个子空间。这四个基本子空间揭示了矩阵实际上在做什么。
矩阵乘向量:AAAx\boldsymbol xx:第一层只有数字;第二层 AxA\boldsymbol xAx 表示的是列向量的组合;第三层展示了子空间。在学习 Figure4.2 的大图之后,我们将看到它的全貌。
将子空间放在一起可以显示出 AAAx\boldsymbol xx 隐藏的一些事实,两个子空间之间的 90°90°90° 角就是我们将要讨论的新的主题。
行空间垂直于零空间AAA 的每一行垂直于 Ax=0A\boldsymbol x=\boldsymbol 0Ax=0 的每一个解。得到 Figure 4.2 左侧的 90°90°90° 角。子空间的垂直性是线性代数基本定理的第二部分。
列空间垂直于 ATA^TAT 的零空间。当 b\boldsymbol bb 不在列空间中,此时将无法求解 Ax=bA\boldsymbol x=\boldsymbol bAx=b,那么 ATA^TAT 的零空间将展现出它的优势。它包含有 “最小二乘” 解法的误差 e=b−Ax\boldsymbol e=\boldsymbol b-A\boldsymbol xe=bAx。最小二乘法是线性代数在本章的关键应用。
线性代数基本定理的第一部分给出了子空间的维度。行空间与列空间有相同的维度 rrr,剩下两个零空间的维度分别是 n−rn-rnrm−rm-rmr。现在我们将证明行空间与零空间是 RnR^nRn 中的正交子空间
定义\kern 10pt如果向量空间中的两个子空间 V\boldsymbol VVW\boldsymbol WW 有:任意 V\boldsymbol VV 中的向量 v\boldsymbol vv 和任意 W\boldsymbol WW 中的向量 w\boldsymbol ww 都垂直,则 V\boldsymbol VVW\boldsymbol WW 正交:

正交子空间对于所有 V 中的向量 v 和所有 W 中的向量 w 都有 vTw=0\pmb{正交子空间}\kern 30pt对于所有\,\boldsymbol V\,中的向量 \,\boldsymbol v\,和所有\,\boldsymbol W\,中的向量\,\boldsymbol w\,都有\,\boldsymbol v^T\boldsymbol w=0正交子空间对于所有V中的向量v和所有W中的向量w都有vTw=0

例1】房间中的地板(延伸到无限远)是一个子空间 V\boldsymbol VV,两面墙的交线是一个子空间 W\boldsymbol WW(一维)。这两个子空间是正交的。两面墙交线上的每个向量与地板上的每个向量都垂直。
例2】两面墙看起来垂直,但是这两个子空间不是正交的!它们的交线同时位于 V\boldsymbol VVW\boldsymbol WW,这条交线与它自身并不垂直。两个平面(R3\pmb{\textrm R}^3R3 中的两个 222 维平面)不可能是正交的子空间。
当一个向量同时存在于两个正交的子空间中,那么它一定是零向量,它垂直于它本身,即是 v\boldsymbol vv 也是 w\boldsymbol ww,所以有 vTv=0\boldsymbol v^T\boldsymbol v=0vTv=0,它只能是零向量。

在这里插入图片描述
线性代数的重要例子来源于四个基本子空间。零是零空间与行空间的唯一交点,此外,AAA 的零空间与行空间是 90°90°90° 相交。我们可以直接从 Ax=0A\boldsymbol x=\boldsymbol 0Ax=0 得到这个关键事实:

因为 Ax=0A\boldsymbol x=\boldsymbol 0Ax=0,所以有 AAA 零空间中的每个向量 x\boldsymbol xx 垂直于 AAA 的每一行。零空间 N(A)\pmb N(A)N(A) 和行空间 C(AT)\pmb C(A^T)C(AT)Rn\pmb {\textrm R}^nRn 中的正交子空间

为什么 x\boldsymbol xx 与这些行垂直呢,看 Ax=0A\boldsymbol x=\boldsymbol 0Ax=0,每行乘 x\boldsymbol xx

Ax=[row  1⋮row  m][ x ]=[0⋮0]←(row  1)⋅x 是零 ←(row  m)⋅x 是零(4.1.1)A\boldsymbol x=\begin{bmatrix}\pmb{\textrm{row\,\,1}}\\\vdots\\{\pmb{\textrm{row}\,\,m}}\end{bmatrix}\begin{bmatrix}\,\\\boldsymbol x\\\,\end{bmatrix}=\begin{bmatrix}0\\\vdots\\0\end{bmatrix}\kern 10pt\begin{matrix}\leftarrow&(\pmb{\textrm{row\,\,1}})\cdot\boldsymbol x\,是零\\\,\\\leftarrow&(\pmb{\textrm{row}\,\,m})\cdot\boldsymbol x\,是零\end{matrix}\kern 25pt(4.1.1)Ax=row1rowmx=00(row1)x是零(rowm)x是零(4.1.1)

第一个方程表明行 111 垂直于 x\boldsymbol xx,最后一个方程表明行 mmm 垂直于 x\boldsymbol xx。每一行与 x\boldsymbol xx 的点积都是零,则 x\boldsymbol xx 也垂直于行的每种组合。整个行空间 C(AT)\pmb C(A^T)C(AT) 与零空间 N(A)\pmb N(A)N(A) 正交。
第二种证明正交的方式使用矩阵的缩写:行空间的向量就是行的线性组合 ATyA^T\boldsymbol yATy,做 ATyA^T\boldsymbol yATy 与零空间任意向量 x\boldsymbol xx 的点积,可以得到这些向量是垂直的:零空间与行空间正交xT(ATy)=(Ax)Ty=0Ty=0(4.1.2)\pmb{零空间与行空间正交}\kern 15pt\boldsymbol x^T(A^T\boldsymbol y)=(A\boldsymbol x)^T\boldsymbol y=\boldsymbol 0^T\boldsymbol y=0\kern 20pt(4.1.2)零空间与行空间正交xT(ATy)=(Ax)Ty=0Ty=0(4.1.2)第一个证明很直观,从方程(4.1.1)中可以直接看到 AAA 的这些行乘 x\boldsymbol xx 得到零。第二个证明表示了为什么 AAAATA^TAT 都在基础定理中。

例3AAA 的行垂直于零空间中的向量 x=(1,1,−1)\boldsymbol x=(1,1,-1)x=(1,1,1)Ax=[134527][11−1]=[00]得点积1+3−4=05+2−7=0A\boldsymbol x=\begin{bmatrix}1&3&4\\5&2&7\end{bmatrix}\begin{bmatrix}\kern 7pt1\\\kern 7pt1\\-1\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}\kern 10pt得点积\kern 5pt\begin{matrix}1+3-4=0\\5+2-7=0\end{matrix}Ax=[153247]111=[00]得点积1+34=05+27=0现在我们将实现转向另外两个子空间。此例中,列空间是整个 R2\boldsymbol {\textrm R}^2R2ATA^TAT 的零空间只有零向量(与任意向量正交)。AAA 的列空间和 ATA^TAT 的零空间总是正交的子空间。

ATA^TAT 零空间中的每个向量 y\boldsymbol yy 垂直于 AAA 的每一列。左零空间 N(AT)\pmb N(A^T)N(AT) 和列空间 C(A)\pmb C(A)C(A)Rm\textrm{\textrm R}^mRm 中的正交子空间

因为 ATA^TAT 的零空间与 ATA^TAT 的行空间正交,而 ATA^TAT 的零空间就是 AAA 的左零空间,ATA^TAT 的行空间就是 AAA 的列空间。证毕!
ATy=0A^T\boldsymbol y=\boldsymbol 0ATy=0 可以得到一个可视化的证明。AAA 的每一列乘 y\boldsymbol yy 都得到 000C(A)⊥N(AT)ATy=[(column  1)T⋯(column  n)T][y ]=[0 ˙0](4.2.3)\pmb C(A)\perp \pmb N(A^T)\kern 15ptA^T\boldsymbol y=\begin{bmatrix}(\pmb{\textrm{column}\,\,1})^T\\\cdots\\(\pmb{\textrm{column}\,\,n})^T\end{bmatrix}\begin{bmatrix}\\\boldsymbol y\\\,\end{bmatrix}=\begin{bmatrix}0\\\dot\ \\0\end{bmatrix}\kern 25pt(4.2.3)C(A)N(AT)ATy=(column1)T(columnn)Ty=0 ˙0(4.2.3)y\boldsymbol yyAAA 的每一列点积都是零,则有 AAA 左零空间中的向量 y\boldsymbol yy 垂直于 AAA 的每一列,即垂直于列空间。
在这里插入图片描述

二、正交补

重要: 基本子空间不仅仅是正交(成对)而已,它们也要有合适的维度。两条直线可能在 R3\textrm{\pmb R}^3R3 空间中垂直,但是这些直线不可能是 3×33\times33×3 矩阵的行空间和零空间。这两天直线的维度都是 111,相加起来是 222,但是正确的维度 rrrn−rn-rnr 加起来一定是 n=3n=3n=3
3×33\times33×3 矩阵的基本子空间的维度可能是 222111,或 333000,这些成对的子空间不仅仅是正交,它们是正交补。
定义: 子空间 V\pmb VV正交补包含所有V\pmb VV 垂直的向量。这个子空间的正交补写成 V⊥\pmb V^{\perp}V(读作 “V\pmb VV perp”)。
根据这个定义,零空间是行空间的正交补,每个垂直于所有行的向量 x\boldsymbol xx 都满足 Ax=0A\boldsymbol x=\boldsymbol 0Ax=0,它也在零空间中。
反过来也是正确的,如果 v\boldsymbol vv 与零空间正交,它一定在行空间中。否则我们可以将 v\boldsymbol vv 加入矩阵当做额外的一行,这样没有改变它的零空间,但是行空间会变大,将违反 r+(n−r)=nr+(n-r)=nr+(nr)=n 的法则。结论是零空间的正交补 N(A)⊥\pmb N(A)^{\perp}N(A) 就是行空间 C(AT)\pmb C(A^T)C(AT)
同样的方法,左零空间和列空间是 Rm\pmb{\textrm R}^mRm 的正交补。它们的维度 rrrm−rm-rmr 加起来得到全维度 mmm

线性代数基本定理,第二部分N(A) 是行空间 C(AT) 的正交补(在 Rn 中)N(AT) 是列空间 C(A) 的正交补(在 Rm 中)\pmb{线性代数基本定理,第二部分}\\{\pmb N(A)\,\pmb{是行空间}\,\pmb C(A^T)\,\pmb{的正交补(在}\,\textrm{\pmb{R}}^n\,\pmb{中)}}\\\pmb N(A^T)\,\pmb{是列空间}\,\pmb C(A)\,\pmb{的正交补(在}\,\textrm{\pmb R}^m\,\pmb{中)}线性代数基本定理,第二部分N(A)是行空间C(AT)的正交补(Rn)N(AT)是列空间C(A)的正交补(Rm)

第一部分给出了子空间的维度,第二部分给出了它们之间的 90°90°90° 角。补充的重点是每一个 x\boldsymbol xx 都可以分成一个行空间分量 xr\boldsymbol x_rxr 和一个零空间分量 xn\boldsymbol x_nxn。Figure 4.3 显示了当 AAAx=xr+xn\boldsymbol x=\boldsymbol x_r+\boldsymbol x_nx=xr+xn 时发生了什么 Ax=Axr+AxnA\boldsymbol x=A\boldsymbol x_r+A\boldsymbol x_nAx=Axr+Axn零空间的分量得到零:Axn=0行空间的分量到列空间:Axr=Ax零空间的分量得到零:A\boldsymbol x_n=\boldsymbol 0\\行空间的分量到列空间:A\boldsymbol x_r=A\boldsymbol x零空间的分量得到零:Axn=0行空间的分量到列空间:Axr=Ax每个向量都到列空间!左乘 AAA 不会做其它的事情,除此之外,列空间的每个向量 b\boldsymbol bb 仅来自一个行空间的唯一向量 xr\boldsymbol x_rxr。证明:如果 Axr=Axr′A\boldsymbol x_r=A\boldsymbol x_r'Axr=Axr,它们的差 xr−xr′\boldsymbol x_r-\boldsymbol x_r'xrxr 在零空间中,也会在行空间中,因为 xr\boldsymbol x_rxrxr′\boldsymbol x_r'xr 都来自与行空间。它们的差必定为零,因为零空间与行空间是垂直的,因此 xr=xr′\boldsymbol x_r=\boldsymbol x_r'xr=xr
如果我们抛开两个零空间,则 AAA 中会隐藏有一个 r×rr\times rr×r 的可逆矩阵,从行空间到列空间,AAA 是可逆的
例4】每个秩 rrr 的矩阵都有一个 r×rr\times rr×r 的可逆子矩阵:A=[300000500000000]包含子矩阵[3005]A=\begin{bmatrix}3&0&0&0&0\\0&5&0&0&0\\0&0&0&0&0\end{bmatrix}\kern 5pt包含子矩阵\kern 5pt\begin{bmatrix}3&0\\0&5\end{bmatrix}A=300050000000000包含子矩阵[3005]另外 111111000 是负责零空间的。BBB 的秩也为 r=2r=2r=2B=[123451245612456]包含子矩阵[1314]在主元行和主元列B=\begin{bmatrix}1&2&3&4&5\\1&2&4&5&6\\1&2&4&5&6\end{bmatrix}\kern 5pt包含子矩阵\kern 5pt\begin{bmatrix}1&3\\1&4\end{bmatrix}在主元行和主元列B=111222344455566包含子矩阵[1134]在主元行和主元列当我们选择了正确的 Rn\pmb {\textrm R}^nRnRm\textrm {\pmb R}^mRm 的基,每个矩阵都可以对角化。这个奇异值分解(Singular Value Decomposition)在应用中已经非常重要。
我们重复下一个事实,AAA 的行不可能在 AAA 的零空间中(除了零向量)。唯一都存在于两个正交子空间的向量是零向量。如果向量 v 正交于它本身,则 v 是零向量。\pmb{如果向量\,\boldsymbol v\,正交于它本身,则\,\boldsymbol v\,是零向量。}如果向量v正交于它本身,则v是零向量。在这里插入图片描述

三、画出大图

大图要显示出这些子空间的正交性。Figure4.4是一条直线与一个平面的正交图,它们是在三维空间中。
在这里插入图片描述

四、从子空间中组合基

基是线性无关的向量,它们可以张成向量空间。正常情况下对于基来说我们要检验以下两个性质,当其中一个成立时是可以退出另外一个的:

Rn\pmb{\textrm R}^nRn 中任意 nnn 个无关向量一定可以张成空间 Rn\textrm{\pmb R}^nRn,因此它们是一组基。
任何可以张成空间 Rn\textrm{\pmb R}^nRnnnn 个向量一定是无关的,所以它们是一组基。

如果向量的数量是正确的,那么基的一个性质可以推出另外一个性质,这对于任何向量空间都是成立的,我们更多关注的是 Rn\pmb {\textrm R}^nRn。当这些向量是 n×nn\times nn×n 方阵 AAA 的列时,我们可得到下面两个事实:

如果 AAAnnn 列是无关的,它们张成 Rn\pmb{\textrm R}^nRn,所以 Ax=bA\boldsymbol x=\boldsymbol bAx=b 有解。
如果这 nnn 个列张成 Rn\pmb{\textrm R}^nRn,则它们是无关的,Ax=bA\boldsymbol x=\boldsymbol bAx=b 有唯一解。

唯一性推论到存在性且存在性推论到唯一性,AAA 是可逆的。如果没有自由变量,则解 x\boldsymbol xx 是唯一的,那么一定有 nnn 个主元列,通过回代可以求解 Ax=bA\boldsymbol x=\boldsymbol bAx=b(解存在)。
从反方向开始,假设 Ax=bA\boldsymbol x=\boldsymbol bAx=b 对于任意的 b\boldsymbol bb 都有解(存在解),那么消元后没有零行,有 nnn 个主元没有自由变量。零空间仅包含 x=0\boldsymbol x=\boldsymbol 0x=0(唯一性)。
对于行空间和零空间的基来说,有 r+(n−r)=nr+(n-r)=nr+(nr)=n 个向量,这 nnn 个向量是无关的,它们张成 Rn\pmb{\textrm R}^nRn

每个 x 都是行空间 xr和零空间 xn的和 xr+xn。每个\,\boldsymbol x\,都是行空间\,\boldsymbol x_r和零空间\,\boldsymbol x_n的和\,\boldsymbol x_r+\boldsymbol x_n。每个x都是行空间xr和零空间xn的和xr+xn

Figure 4.3 画出了正交补的关键点 —— 它们的维度相加是 nnn,所有的向量都可以通过正交补来解释。

例5A=[1236]A=\begin{bmatrix}1&2\\3&6\end{bmatrix}A=[1326]x=[43]\boldsymbol x=\begin{bmatrix}4\\3\end{bmatrix}x=[43] 分成 xr+xn=[24]+[2−1]\boldsymbol x_r+\boldsymbol x_n=\begin{bmatrix}2\\4\end{bmatrix}+\begin{bmatrix}\kern 7pt2\\-1\end{bmatrix}xr+xn=[24]+[21]
向量 [24]\begin{bmatrix}2\\4\end{bmatrix}[24] 在行空间,它的正交向量 [2−1]\begin{bmatrix}\kern 7pt2\\-1\end{bmatrix}[21] 在零空间中。

五、主要内容总结

  • 如果 V\boldsymbol VV 中的每个向量 v\boldsymbol vvW\boldsymbol WW 中的每个向量 w\boldsymbol ww 都正交,则子空间 V\boldsymbol VVW\boldsymbol WW 正交。
  • 如果 W\boldsymbol WW 中包含全部垂直于 V\boldsymbol VV 的向量(反之亦然),则 V\boldsymbol VVW\boldsymbol WW 是正交补。在 Rn\textrm {\pmb R}^nRn 中,V\boldsymbol VVW\boldsymbol WW 的维度相加是 nnn
  • 零空间 N(A)\pmb N(A)N(A) 和行空间 C(AT)\pmb C(A^T)C(AT) 是正交补,维度是 (n−r)+r=n(n-r)+r=n(nr)+r=n,相似的,左零空间 N(AT)\pmb N(A^T)N(AT) 和列空间 C(A)\pmb C(A)C(A) 是正交补,它们的维度是 (m−r)+r=m(m-r)+r=m(mr)+r=m
  • Rn\textrm{\pmb R}^nRn 中任意 nnn 个无关的向量可以张成 Rn\pmb{\textrm R}^nRn;任意可以张成 Rn\pmb{\textrm R}^nRnnnn 个向量是无关的。

六、例题

例6】假设 S\pmb SS 是 9 维空间 R9\textrm{\pmb R}^9R9 中的 666 维子空间:
(a)与 S\pmb SS 正交的子空间的维度可能是多少?
(b)S\pmb SS 的正交补 S⊥\pmb S^{\perp}S 的维度可能是多少?
(c)行空间是 S\pmb SS 的矩阵 AAA 可能的最小形状大小是多少?
(d)零空间是 S⊥\pmb S^{\perp}S 的矩阵 BBB,它的形状可能的最小大小是多少?
解: (a)如果 S\pmb SSR9\textrm{\pmb R}^9R9 中的 666 维子空间,那么与 S\pmb SS 正交的子空间的维度可能是 0,1,2,30,1,2,30,1,2,3
(b)正交补 S⊥\pmb S^{\perp}S 是最大的正交子空间,它的维度是 333
(c)最小的矩阵 AAA 形状是 6×96\times 96×9。(它的 666 行是 S\pmb SS 的一组基)。
(d)最小的矩阵 BBB 形状是 6×96\times96×9。(与(c)答案一样)
如果 BBB 的新行第 777 行是 AAA666 行的组合,那么 BBBAAA 有相同的行空间,也有相同的零空间。Ax=0A\boldsymbol x=\boldsymbol 0Ax=0 的特殊解 s1,s2,s3\boldsymbol s_1,\boldsymbol s_2,\boldsymbol s_3s1,s2,s3 同样也是 Bx=0B\boldsymbol x=\boldsymbol 0Bx=0 的特殊解。消元后 BBB 的第777 行将会变成零行。

例7】方程 x−3y−4z=0x-3y-4z=0x3y4z=0 描述了 R3\textrm {\pmb R}^3R3 中的一个平面 P\pmb PP(实际上是一个子空间)。
(a)平面 P\pmb PP 是哪个 1×31\times31×3 的矩阵 AAA 的零空间?
(b)找到 x−3y−4z=0x-3y-4z=0x3y4z=0 特殊解构成的一组基 s1,s2\boldsymbol s_1,\boldsymbol s_2s1,s2(它们会是零空间矩阵 NNN 的列)。
(c)找到垂直于 P\pmb PP 的直线 P⊥\pmb P^{\perp}P 的一组基。
解:(a)A=[1−3−4]A=\begin{bmatrix}1&-3&-4\end{bmatrix}A=[134]
(b)s1=[310],s2=[401]\boldsymbol s_1=\begin{bmatrix}3\\1\\0\end{bmatrix},\kern 5pt\boldsymbol s_2=\begin{bmatrix}4\\0\\1\end{bmatrix}s1=310,s2=401
(c)[1−3−4]\begin{bmatrix}\kern 7pt1\\-3\\-4\end{bmatrix}134

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值