线性代数及其应用：第二章 向量空间

前言：这篇blog是《 Linear Algebra and Its Applications》第二章的一些学习笔记

第二章 向量空间

  基本方法：高斯消去法
  重点：向量空间(矩阵不只是一堆数，如果想更具象的理解矩阵，向量空间的概念一定要清楚，换句话说，要通过向量空间理解矩阵)，线性变换

1. 向量空间与子空间

1.1. 向量空间的定义

  在线性代数中，向量空间=线性空间。
  向量空间就是满足下面8个性质的向量集，$x,y,z$为向量集中的向量，$c$为常数

1. $x+y=y+x$；
2. $x+(y+z)=(x+y)+z$；
3. 有一个"零向量"使得对所有向量$x$满足$x+0=x$；
4. 对每一个向量$x$有一个向量$(-x)$满足$x+(-x)=0$；
5. $1\cdot x=x$；
6. $(c_1{c}_2)x=c_1(c_{2}x)$；
7. $c(x+y)=cx+xy$；
8. $(c_1+c_2)x=c_{1}x+c_{2}x$。

  向量空间产生的方法：

1. 由线性无关向量张成(spanning)；
2. 满足特殊条件，例如零空间 ( { x ∣ A x = 0 } ) (\{x|Ax=0\}) ({ x∣Ax=0})。

  向量空间举例：平面所有向量，$3\times 2$ 矩阵， C [ 0 , 1 ] = { f ( x ) ∣ f ( x ) 连 续 且 0 ≤ x ≤ 1 } C[0,1]=\{f(x)|f(x)连续且0\leq x\leq 1\} C[0,1]={ f(x)∣f(x)连续且0≤x≤1}，$R^{\infty }$(希尔伯特空间)= { x ∣ x = ( x 1 , x 2 , x 3 , x 4 …   ) , x i ∈ R } \{x|x=(x_{1},x_{2},x_{3},x_{4}\dots),x_{i}\in R\} { x∣x=(x1​,x2​,x3​,x4​…),xi​∈R}。

1.2. 子空间定义

  子空间是向量空间的非空子集，且满足下面两式：

1. $x,y\in subspace，x+y\in subspace$；
2. $x\in subspace，cx\in subspace$。

子空间举例：$3\times 3$矩阵的上三角矩阵，矩阵的四大子空间(行空间，列空间，零空间，左零空间)。

---

2. 求解Ax=0与Ax=b

  对所有的线性方程组$Ax=b$，其解都可以写成$x=x_p+x_n$，其中$x_p$为特解，满足$A{x}_p=b$，$x_n$为A的零空间中的某一个解向量，满足$A{x}_n=0$。零空间为矩阵的四大子空间之一，这篇blog的后面会说明，下面先证明一下这一结论。

证明：
解向量$x$满足$Ax=b$，且$A{x}_p=b$
则$A(x-x_p=0)$，故$x-x_p=x_n$
即$x=x_p+x_n$

2.1. 主元变量与自由变量

  主元变量：对应到主元(pivot)上的变量
  自由变量：对应到非主元上的变量
例如：求解$Ax=b$，$$A=\left[\begin{array}{cccc}\ast 1& 3& 0& -1\\ 0& 0& \ast 1& 1\\ 0& 0& 0& 0\end{array}\right]，x=\left[\begin{array}{c}\ast u\\ v\\ \ast w\\ y\end{array}\right]$$其中，$A$中加"$\ast$“的数字为主元(pivot)，那么对应$x$中加”$\ast$“的变量就是主元变量，即$u,w$，就是矩阵乘法中和$A$中主元相乘的变量；不加”$\ast$"的变量为非主元变量，即$v,y$。

2.2. 求Ax=b

  求解顺序是先求$Ax=0$的通解$x_n$，在求Ax=b的一个特解$x_p$，最后组合成组合解$x=x_n+x_p$即为线性方程组的解。下面举例说明
$$Ax=\left[\begin{array}{cccc}1& 3& 3& 2\\ 2& 6& 9& 7\\ -1& -3& 3& 4\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\\ y\end{array}\right]=\left[\begin{array}{c}1\\ 5\\ 5\end{array}\right]=b$$经过高斯消去后，方程组变为$$Ux=\left[\begin{array}{cccc}1& 3& 3& 2\\ 0& 0& 3& 3\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\\ y\end{array}\right]=\left[\begin{array}{c}1\\ 3\\ 0\end{array}\right]=c$$把主元列的非主元也消为0，$$Rx=\left[\begin{array}{cccc}1& 3& 0& -1\\ 0& 0& 1& 1\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\\ y\end{array}\right]=\left[\begin{array}{c}-2\\ 1\\ 0\end{array}\right]=d$$当然，往往不需要化解到$R$