MIT线性代数笔记Lecture9-Lecture10

Lecture9 线性无关，生成空间，基和维数

1. 线性相关性

• 背景
  当矩阵A列数大于行数时，很有可能有无穷多个非零解，因为存在自由变量。
• 线性相关性
  设有向量$v_1,v_2,......,v_n$，在什么情况下$v_1,v_2,......,v_n$线性无关？
  1. 定义
  若不存在$v_1,v_2,......,v_n$的非零线性组合，其结果为零向量，称$v_1,v_2,......,v_n$线性无关。
  反之称为向量组线性相关。
  含零向量的向量组一定线性相关。
  如果将所有向量（列向量）合并成矩阵$A$：
  若$A$的零空间内有非零向量，$A$的列向量线性相关，$r=n$。
  若$A$的零空间内只有零向量，$A$的列向量线性无关，$r<n$。

2.生成空间(Spanning a space)，基(Basis)，维数（Dimension）

• 生成空间
  $v_1,v_2,......,v_l$的生成空间包含了$v_1,v_2,......,v_l$的所有线性组合。
  也就可以看作，这个空间是由这些向量生成（span）的。
• 基
  一个向量空间的基可以看做是具有如下两个性质的一组向量：
  （1）这些向量线性无关。
  （2）它们生成了整个空间。
  在$R_n$中的一组基构成的矩阵是不可逆的(invertible)。
  向量空间的基不是唯一的。
• 维数
  给定一个向量空间，其基中向量的数量是固定的，称为这个向量空间的维数（Dimension）。
  Rank of A = # of pivot = Dimension of C(A)

3.零空间维数的讨论

通过以上我们得知了列空间的维数为$r$，代表的是所有列向量中的最大线性无关的个数。
零空间研究的是$A$的线性相关的问题。
Dimension of N(A) = # of free variables = n - r

---

Lecture10 四个基本子空间

1.四个基本子空间介绍

四个基本子空间的概念是线性代数的核心，假设$A_{m\times n}$，它的四个子空间为

1. 列空间$C(A)$
   是$R_m$的子空间。
2. 零空间$N(A)$
   是$R_n$的子空间
3. 行空间$C(A^T)$
   $A$的行向量生成的空间，若仍采用列向量表示，也就是$C(A^T)$。
   是$R_n$的子空间
4. 左零空间
   原矩阵$A$转置的零空间$N(A^T)$。
   是$R_m$的子空间
   四个子空间如下图所示：
   

• 子空间的基和维数

1. $C(A)$
   维数为$r$ ($r$为$A$的秩)。
   基可由$A$的主元列构成。
2. $N(A)$
   维数为$n-r$。
   基可以由进行消元操作后几个自由变量取不同的值得到，详见Lecture7-8。
3. $C(A^T)$
   维数为$r$。
   初等行变换不改变行空间，因为相当于行的线性组合。
   所以基是由$R$的前$r$行决定的。$R$是经过行变换化简之后的最终A矩阵，前$r$行均为非零行。
   由此也可以看出行空间的维数为$r$，因为有$r$个主元行，它们线性无关。
4. $N(A^T)$
   维数为$m-r$。
   Why left null space?
   首先根据定义：设左零空间内的向量为$y$，$A^{T}y=0$。
   两边取转置即为：
   $y^{T}A=0$
   How to get left null space?
   使用高斯若尔消元法，也就是类似求$A^{-1}$的方法：
   $$\left[\begin{array}{ccc}{A}_{m\times n}& |& I_{m\times m}\end{array}\right]$$
   使用消元法使得$A\to R$，得到：
   $$\left[\begin{array}{ccc}{R}_{m\times n}& |& E_{m\times m}\end{array}\right]$$
   由高斯消元法的思想，将$A$变为$R$的过程相当于左乘$E$矩阵。
   即：$EA=R$
   回顾前面逆矩阵所讲的，最终$R=I,E=A^{-1}$。
   而这是一个长方形矩阵，不能得到逆矩阵。
   这时构建这个E的意义在于，$E$的最后$m-r$行构成左零空间的一组基。
   原因：在矩阵乘法的一种思考方式是，一个矩阵左乘一个行向量表示的是矩阵行的线性组合。观察$EA=R$，$R$的最后的$m-r$行一定是0，因为行空间的秩为$r$。
   $E$的最后$m-r$每一行$r^{\ast }$均满足${r^{\ast }}^{T}A=0$
   因为$E$是可逆的，所以最后$m-r$行一定也是线性无关的，构成了左零空间的一组基。

2.一种新的向量空间

本节课最后，提出了一种新的向量空间，空间内的向量是一个个的矩阵，也就是把矩阵看做向量。
因为矩阵也满足加法和数乘的封闭性（不考虑矩阵乘法）。

• 这种新向量空间的子空间
  假设一个矩阵构成的空间为$M$。
  上三角矩阵，对称矩阵，对角矩阵均为$M$的子空间。