本节是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第六讲 矩阵的列空间和零空间(lecture 6 Column Space and Nullspace)】的笔记,参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档,整理笔记如下,笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的,本人只是将该课程视频中讲述的内容整理为文字形式,前面的章节可在本人的其他博客中找到(此处戳第一讲,第二讲,第三讲,第四讲,第五讲),后面的章节会按照视频顺序不断更新~
文章目录
lecture 6 Column Space and Nullspace
一. 向量空间和子空间(Vector spaces and Subspaces)
1. Vector space requirements
v + w v+w v+w and c v cv cv are in the space;(加法和数乘都是封闭的);
all combinations c v + d w cv+dw cv+dw are in the space.(线性组合是封闭的);
综上,即:所有的线性组合都在空间中。
Example 1 : 在三维空间 R 3 \mathcal{R}^3 R3中,它本身 R 3 \mathcal{R}^3 R3是一个向量空间.
2. Subspaces
子空间必须包含原点;
Example 2 :在三维空间 R 3 \mathcal{R}^3 R3中,经过原点的平面(P)是 R 3 \mathcal{R}^3 R3的子空间,经过原点的直线(L)是 R 3 \mathcal{R}^3 R3的子空间;
1) 子空间的并集(union)
——假设取两个子空间(如P和L)的并,即P∪L = all vectors in P or L or both,那么P∪L是子空间吗?
此问题等同于:平面P中的向量和直线L中的向量放在一起,得到的向量集合是子空间吗?
——不是。因为加法不封闭,无法满足向量空间的条件(取P中某向量和L中某向量相加,结果不在直线或平面上,即不在两者的并集上)。
2) 子空间的交集 (intersection)
——假设取两个子空间(如P和L)的交集,即P∩L = all vectors that are in both P and L,则P∩L是子空间吗?
——对于Example 2来说,交集只有零点,因此是。但是,如果推广到任意两个子空间的交集,假设任意两个子空间S和T,则S∩T仍然是子空间。
二. 矩阵的列空间(Column space of A A A)
1. 如何构造的矩阵列空间
Example 2 :
A
=
[
1
1
2
2
1
3
3
1
4
4
1
5
]
A=\left[\begin{array}{lll} {1} & {1} & {2} \\ {2} & {1} & {3} \\ {3} & {1} & {4} \\ {4} & {1} & {5} \end{array}\right]
A=⎣⎢⎢⎡123411112345⎦⎥⎥⎤
——
A
A
A的列向量均为
R
4
\mathcal{R}^4
R4中的四维向量,因此
A
A
A的列空间(记作
C
(
A
)
C(A)
C(A))是
R
4
\mathcal{R}^4
R4的子空间。现已知该子空间中已经包含
A
A
A中的三个列向量,则该如何将其扩充为子空间?
——只要取所有列的线性组合即可,即 A A A的列空间由所有列的线性组合构成,即为一个子空间,这是包含这三个列向量的最小子空间。
2. 矩阵与线性方程组的联系
将矩阵与线性方程组联系起来,因为抽象的定义背后有实际的目的。
——Does A x = b Ax=b Ax=b always have a solution for every b b b?
——No. 因为
A
x
=
b
Ax=b
Ax=b 有四个方程,但只有三个未知数,具体形式如下:
A
x
=
[
1
1
2
2
1
3
3
1
4
4
1
5
]
[
x
1
x
2
x
3
]
=
[
b
1
b
2
b
3
b
4
]
=
b
Ax=\left[\begin{array}{ccc} {1} & {1} & {2} \\ {2} & {1} & {3} \\ {3} & {1} & {4} \\ {4} & {1} & {5} \end{array}\right]\left[\begin{array}{c} {x_{1}} \\ {x_{2}} \\ {x_{3}} \end{array}\right]=\left[\begin{array}{c} {b_1} \\ {b_2} \\ {b_3} \\ {b_4} \end{array}\right]=b
Ax=⎣⎢⎢⎡123411112345⎦⎥⎥⎤⎣⎡x1x2x3⎦⎤=⎣⎢⎢⎡b1b2b3b4⎦⎥⎥⎤=b 方程组不总是有解,因为3个列向量的线性组合无法充满整个四维空间,因此可能有一大堆
b
b
b向量不是这3个列向量的线性组合。另外,一般情况下,四个方程三个未知数是无解的,但是有时是有解的,那么
——Big question: 什么样的右侧向量 b b b才能让方程组 A x = b Ax=b Ax=b 有解?
Which vectors b ′ s b's b′s allow this system A x = b Ax=b Ax=b to be solved??
——很显然,有几种明显的有解的情况:
- 当 b = [ 0 0 0 0 ] b=\left[\begin{array}{l} {0} \\ {0} \\ {0} \\ {0}\end{array}\right] b=⎣⎢⎢⎡0000⎦⎥⎥⎤时,方程组为 A x = 0 Ax=0 Ax=0永远有解,即 x = [ 0 0 0 ] x=\left[\begin{array}{l} {0} \\ {0} \\ {0}\end{array}\right] x=⎣⎡000⎦⎤;
- 当 b = [ 1 2 3 4 ] b=\left[\begin{array}{l}{1} \\ {2} \\ {3} \\ {4}\end{array}\right] b=⎣⎢⎢⎡1234⎦⎥⎥⎤时,解为 x = [ 1 0 0 ] x=\left[\begin{array}{l} {1} \\ {0} \\ {0}\end{array}\right] x=⎣⎡100⎦⎤;
- 当 b = [ 1 1 1 1 ] b=\left[\begin{array}{l}{1} \\ {1} \\ {1} \\ {1}\end{array}\right] b=⎣⎢⎢⎡1111⎦⎥⎥⎤时,解为 x = [ 0 1 0 ] x=\left[\begin{array}{l} {0} \\ {1} \\ {0}\end{array}\right] x=⎣⎡010⎦⎤;
- 当 b = [ 2 3 4 5 ] b=\left[\begin{array}{l}{2} \\ {3} \\ {4} \\ {5} \end{array}\right] b=⎣⎢⎢⎡2345⎦⎥⎥⎤时,解为 x = [ 0 0 1 ] x=\left[\begin{array}{l} {0} \\ {0} \\ {1}\end{array}\right] x=⎣⎡001⎦⎤;
综上, A x = b Ax=b Ax=b有解,当且仅当右侧向量 b b b 属于 A A A的列空间,即只有 b b b是各列的线性组合时,方程组 A x = b Ax=b Ax=b才有解( x x x的各元素是相应的线性组合系数)。
3. 矩阵各列的相关性(主列)
——矩阵 A A A的三列线性无关吗?(Are the columns of A independent?)
此问题等同于:如果将这三列进行线性组合,是否每一列对组合都有贡献?即能否去掉某一列,得到同样的列空间?
——可以。比如,我们可以去掉第三列,因为第三列等于前两列之和,我们已经有了前两列的线性组合,加入第三列后,对向量空间毫无影响,则前两列成为“主列”,而第三列不是主列。
——可以只去掉列一而不是列三吗?
——可以。
综上, Example 2中矩阵的列空间可以描述为 R 4 \mathcal{R}^4 R4中的二维子空间。
关于主列的选取,一般是优先考虑靠前的线性无关向量,则可以丢掉靠后的线性相关向量而不影响向量空间。
三. 矩阵的零空间(Nullspace of A)
1. 零空间定义
零空间(记作 N ( A ) N(A) N(A))不包含右侧向量 b b b,它只包含 x x x,即零空间指的是: A x = 0 Ax=0 Ax=0 的所有解 x = [ x 1 x 2 x 3 ] x=\left[\begin{array}{c}{x_{1}} \\{x_{2}} \\{x_{3}}\end{array}\right] x=⎣⎡x1x2x3⎦⎤。
2. 零空间与列空间的区别&如何构造零空间
零空间和列空间都关心矩阵各列的线性组合,但是列空间关心的是组合结果,而零空间更关心线性组合的系数。
Example 3:(仍然延用Example 2中的矩阵为例)
A
x
=
[
1
1
2
2
1
3
3
1
4
4
1
5
]
[
x
1
x
2
x
3
]
=
[
0
0
0
0
]
Ax=\left[\begin{array}{ccc} {1} & {1} & {2} \\ {2} & {1} & {3} \\ {3} & {1} & {4} \\ {4} & {1} & {5} \end{array}\right]\left[\begin{array}{c} {x_{1}} \\ {x_{2}} \\ {x_{3}} \end{array}\right]=\left[\begin{array}{c} {0} \\ {0} \\ {0} \\ {0} \end{array}\right]
Ax=⎣⎢⎢⎡123411112345⎦⎥⎥⎤⎣⎡x1x2x3⎦⎤=⎣⎢⎢⎡0000⎦⎥⎥⎤
由于
x
x
x包含三个分量,因此零空间是
R
3
\mathcal{R}^3
R3的子空间,因此解向量
x
x
x属于
R
3
\mathcal{R}^3
R3, 而列空间属于
R
4
\mathcal{R}^4
R4。
显然, [ 0 0 0 ] \left[\begin{array}{r}{0} \\ {0} \\ {0}\end{array}\right] ⎣⎡000⎦⎤是方程组的解,不管矩阵是什么,零空间显然包含0(零空间也是向量空间),另外, [ 1 1 − 1 ] \left[\begin{array}{r}{1} \\ {1} \\ {-1}\end{array}\right] ⎣⎡11−1⎦⎤也是方程组的解;
综上,方程组 A x = 0 Ax=0 Ax=0 的所有解为: c [ 1 1 − 1 ] c\left[\begin{array}{r}{1} \\ {1} \\ {-1}\end{array}\right] c⎣⎡11−1⎦⎤,即使得矩阵 A A A的列的线性组合等于 0 0 0的所有可能情况,该解在几何上是一条直线,因此,此零空间是一条 R 3 \mathcal{R}^3 R3 中的直线。
3. 证明零空间是向量空间
——为什么零空间可以称之为“空间”,即为什么零空间是向量空间?
问题等同于:Check that the solutions to A x = 0 Ax=0 Ax=0 always give a subspace.
——只需证明:对任意一个解 v v v和另一个解 w w w, 他们的和仍然是解(加法封闭).即:If A v = 0 Av=0 Av=0 and A w = 0 Aw=0 Aw=0, then A ( v + w ) = 0 A(v+w)=0 A(v+w)=0,即若 v v v在零空间中, w w w在零空间中,那么 v + w v+w v+w也在零空间中,显然这是成立的,因为 A ( v + w ) = A v + A w = 0 + 0 = 0 A(v+w)=Av+Aw=0+0=0 A(v+w)=Av+Aw=0+0=0。同理,可以证明:如果 A v = 0 Av=0 Av=0,那么 A A A乘以 v v v的任意倍数仍然等于 0 0 0,即 A ( 12 v ) = 12 A v = 0 A(12v)=12Av=0 A(12v)=12Av=0。
4. 理解向量空间
需理解什么是向量空间的关键?(what’s the point of a vector space? )
Example 4:(将Example 3中的例子换一个右侧向量
b
b
b)
A
x
=
[
1
1
2
2
1
3
3
1
4
4
1
5
]
[
x
1
x
2
x
3
]
=
[
1
2
3
4
]
=
b
Ax=\left[\begin{array}{lll} {1} & {1} & {2} \\ {2} & {1} & {3} \\ {3} & {1} & {4} \\ {4} & {1} & {5} \end{array}\right]\left[\begin{array}{l} {x_{1}} \\ {x_{2}} \\ {x_{3}} \end{array}\right]=\left[\begin{array}{l} {1} \\ {2} \\ {3} \\ {4} \end{array}\right]=b
Ax=⎣⎢⎢⎡123411112345⎦⎥⎥⎤⎣⎡x1x2x3⎦⎤=⎣⎢⎢⎡1234⎦⎥⎥⎤=b
要求此方程组的解,很显然,
[
1
0
0
]
\left[\begin{array}{l} {1} \\ {0} \\ {0}\end{array}\right]
⎣⎡100⎦⎤是一个解,但是它自己不能构成向量空间。现在右侧向量已经不是
0
0
0了,因此现在考虑的不是零空间。有以下两个问题:
-
如果有其他解,那么他们能够成子空间吗?
现在考虑的是 R 3 \mathcal{R}^3 R3中所有满足 A x = b ( b ≠ 0 ) Ax=b(b\not=0) Ax=b(b=0)的解 x x x构成向量空间吗?
显然不构成。因为解中不包含 0 0 0,连基本要求都达不到,因此不是向量空间。
-
解是什么样的?
除了 [ 1 0 0 ] \left[\begin{array}{l} {1} \\ {0} \\ {0}\end{array}\right] ⎣⎡100⎦⎤,还有 [ 0 − 1 1 ] \left[\begin{array}{l} {0} \\ {-1} \\ {1}\end{array}\right] ⎣⎡0−11⎦⎤等,因此解有很多个,但他们不构成子空间 ,在几何上,它其实是一个不穿过原点的平面或者是一条不穿过原点的直线,在本例中,解构成的是一条不穿过原点的直线。
向量空间需要穿过原点,如果考虑的是 x x x,那么 x x x必须是 A x = 0 Ax=0 Ax=0的解。
四. 总结
构建两种空间的方法:
-
对于列空间,通过取矩阵各列的线性组合,构造出子空间(从向量出发,通过线性组合构造子空间)。
-
对于零空间,一开始并不知道零空间中有什么向量,我们需要自己找,已知的信息只有向量必须满足的方程组,即通过让 x x x满足特定条件来得到子空间。