向量的线性表示和线性相关

向量组的线性组合

Def 1. 向量

$n$个有次序的数字形成的所组成的数组称作$n$维向量。

Notes: 以下讨论习惯于将$\mathbf{a}$表示成列向量，而把${\mathbf{a}}^{\mathbf{T}}$表示成行向量。

Def 2. 向量的线性组合

对于向量组$\mathbf{A}={\mathbf{a}}_1,...{\mathbf{a}}_n$，任意一组实数$k_1,...k_n$与向量组形成的表达式$k_1{\mathbf{a}}_1+...+k_n{\mathbf{a}}_n$称作向量组$\mathbf{A}$的一个线性组合。

特别地，如果存在$\mathbf{b}=k_1{\mathbf{a}}_1+...+k_n{\mathbf{a}}_n$，则向量$\mathbf{b}$是向量组$\mathbf{A}$的一个线性组合，也称$\mathbf{b}$可以被$\mathbf{A}$线性表示。

不难发现，$\mathbf{b}$能被$\mathbf{A}$线性表示的条件就是方程$\mathbf{A}\mathbf{x}=\mathbf{b}$有解。立得定理1.

Th1. 向量线性表示的充要条件

向量$\mathbf{b}$能够被向量组$\mathbf{A}={\mathbf{a}}_1,...{\mathbf{a}}_n$线性表示的充分必要条件是$r(\mathbf{A})=r(\mathbf{A},\mathbf{b})$。

Notes: 线性表示是一种向量组对于向量的运算。这种运算具有传递性，没有自反和对称性。

Def 3. 向量组的等价

若向量组$\mathbf{B}={\mathbf{b}}_1,...{\mathbf{b}}_t$中的每一个向量都可以被向量组$\mathbf{A}={\mathbf{a}}_1,...{\mathbf{a}}_m$线性表示，那么称向量组$\mathbf{B}$可以被向量组$\mathbf{A}$线性表示。如果这两个向量组能够相互表示，那么称这两个向量组等价。

不难将刚才对于线性方程组的性质加强到矩阵方程组上。那么，$\mathbf{B}$可以被$\mathbf{A}$表示，就可以表述为方程$\mathbf{A}\mathbf{X}=\mathbf{B}$有解。

Th2. 向量组线性表示的充要条件

向量组$\mathbf{B}={\mathbf{b}}_1,...{\mathbf{b}}_t$可以被向量组$\mathbf{A}={\mathbf{a}}_1,...{\mathbf{a}}_m$线性表示的充要条件是$r(\mathbf{A})=r(\mathbf{A},\mathbf{B})$。

如此可以考虑，向量组的等价，应当是比矩阵等价更强的条件，因为两个矩阵等价，并不能表征方程组同解的条件；但是向量组的等价包含有方程组同解这个很强的条件。

Th3. 向量组等价的充要条件

由Th2的定义不难得到两个等式$r(\mathbf{A})=r(\mathbf{A},\mathbf{B})$和$r(\mathbf{B})=r(\mathbf{B},\mathbf{A})$。而等式右边的两项是相等的。于是得到
$$\mathbf{A}等价于\mathbf{B}\leftrightarrow r(\mathbf{A})=r(\mathbf{B})=r(\mathbf{A},\mathbf{B})$$
最后我们来讨论向量组线性表示的一个必要条件。

承接刚才的讨论，$\mathbf{B}$可以被$\mathbf{A}$表示这个条件，可以表述为方程$\mathbf{A}\mathbf{X}=\mathbf{B}$有解。

进一步地，我们有，$r(\mathbf{A})=r(\mathbf{A},\mathbf{B})$。但是，不难得到，$r(\mathbf{B})\le r(\mathbf{A},\mathbf{B})$。综合以上，得到下面的定理:

Th4. 向量组线性表示的必要条件

$\mathbf{B}$可以被$\mathbf{A}$表示 $\to$ $r(\mathbf{B})\le r(\mathbf{A})$

实际上上面的讨论是对于有限的向量进行的，这些讨论是很容易从矩阵的结论直接得来的。

向量组的线性相关性

刚才一节对于向量组的线性表示的讨论，是对于任意两个向量之间关系的讨论。下面要进行的则是对于一个向量组本身的讨论，这个性质叫做线性相关。

Def 4 线性相关

对于向量组$\mathbf{A}={\mathbf{a}}_1,...{\mathbf{a}}_n$，若存在不全为零的一组数$k_1,...k_n$，使得表达式$k_1{\alpha }_1+...+k_n{\alpha }_n=0$成立，则称向量组$\mathbf{A}$是线性相关的；否则是线性无关的。

不难发现线性相关和线性表示分别对应了线性方程组中对于齐次和非齐的一种表述。而线性相关的几何意义则是这组基底是不是能够完全表达一个空间的向量基底；线性表示则用于刻画两个向量集对空间的相同刻画能力。

注意特殊定义$A=0$，这个只含一个向量的向量组是线性相关的。这与几何意义符合的很好：零向量很明显不能够表达空间，它太弱了。

由刚才的讨论不难得出一个性质，即，$\mathbf{A}$是线性相关的等价于$\mathbf{A}\mathbf{X}=0$存在非零解。于是得到定理：

Th5. 向量组线性相关的充要条件

$\mathbf{A}$是线性相关的$\leftrightarrow$$r(\mathbf{A})<n$。

去证明一个向量组是线性无关的，大体有以下三种做法：定义，同乘矩阵，秩。

以下对于向量组线性相关的性质进行一些讨论。

首先，不难想到，如果一个向量组$\mathbf{A}$本身是线性相关的，那么将它升维，即增加向量组中元素的个数，这个向量组依然是线性相关的。形式的证明如下：

Th6. 向量组线性相关的弱二分性质

若向量组$\mathbf{A}={\mathbf{a}}_1,...,{\mathbf{a}}_{\mathbf{m}}$线性相关，则$\mathbf{B}={\mathbf{a}}_1,...,{\mathbf{a}}_{\mathbf{m}},{\mathbf{a}}_{\mathbf{m}+1}$也线性相关。

由于$r(\mathbf{B})\le r(A)+1<m+1$即得。

其逆否也是一个很强的条件，即$\mathbf{B}$线性无关的话，$\mathbf{A}$也线性无关。

这个弱二分性质可以得到一些有趣的结论。

首先，如果向量组有一个子组是线性相关的，那么这个向量组本身也是线性相关的；特别地，如果向量组中含有零向量，这个向量组也是线性相关的。对于线性无关也有类似的性质，但是一般很难找到一个对应维度的基。

Th7. 向量组的维度性质

设向量组$\mathbf{A}$有$m$个$n$维向量。当$m>n$时，向量组一定线性相关。

由$r(\mathbf{A})<=n<m$立得。

此外还有升维的性质，即：

设向量组$\mathbf{A}$有$m$个$n$维向量，且$\mathbf{A}$线性无关。当维度变为$n^{\prime }>n$时，向量组一定线性无关。

Th8. 向量组的临界性

设向量组$\mathbf{A}={\mathbf{a}}_1,...,{\mathbf{a}}_{\mathbf{m}}$线性无关，而$\mathbf{B}={\mathbf{a}}_1,...,{\mathbf{a}}_{\mathbf{m}},\mathbf{b}$线性相关，那么$\mathbf{b}$一定能被$\mathbf{A}$线性表示。

问题转化为$\mathbf{A}\mathbf{X}=\mathbf{b}$的解的问题，由Th5得到$r(\mathbf{A})=m$但$r(\mathbf{B})\ge r(\mathbf{A})$，且$r(\mathbf{B})<m+1$，立得$r(\mathbf{A})=r(\mathbf{B})$，方程组有解。

这个性质可以引出后面类似于矩阵的秩中的定义，我们不难发现，任何一个极大的线性无关向量子组都可以表示出这个集合的所有向量。

向量组的秩

由刚才的讨论我们发现了一个性质，即，向量组的极大的线性无关向量组似乎有和矩阵的秩类似的性质，即，它的数值大小是有二分性质的。下面我们对它进行一些讨论，一方面是为了使得线性方程解的理论更加完善，另一方面是由于秩是衡量一个向量组表达空间能力的有效度量，但是这个向量组很明显有可能不是一个有限集，所以对于无穷向量组的度量亟需一种有效的手段。

Def 5 极大无关向量组

一个向量组$\mathbf{A}$的极大无关向量组$\mathbf{B}$有如下性质：

1. $\mathbf{B}$是线性无关的。
2. 设$\mathbf{B}$的大小是$m$，那么任意$m+1$阶向量组都线性相关。

这样的向量组$\mathbf{B}$被称为$\mathbf{A}$的极大无关向量组。

与有限矩阵做类比我们可以得到，一个极大无关向量组可以对应到一个矩阵的极大非零子阵，那么自然地我们就会想到，任意两个极大无关向量组的大小应该是相同的。

Th9. 极大无关向量组的大小唯一

证明从略。

一个比较有趣的性质是，任何一个无关向量子组都一定包含于某一个极大无关向量组中。这个性质可以用反证法证明。

有了极大无关向量组的单调性质，我们可以立即给出秩的定义。

Def 6 向量组的秩

向量组的秩的大小等价于它的极大无关向量组的向量个数。

由Th8可以知道，一个极大向量组一定能表达出这个向量组中的所有向量。由此可以给出极大无关向量组的等价定义。

Def 7 极大无关组的等价定义

1. $\mathbf{B}$是线性无关的。

2. 对于任意不在$\mathbf{B}$中的向量$\mathbf{a}$，总可以由$\mathbf{B}$线性表示。

这实际上是极大无关组的几何刻画，用它可以证明一个方程组的任一不缺解的解向量组都是这个解空间的极大无关组。

前面我们一直在把向量组和矩阵进行对比。由此可以想到，一个向量组的秩和它对应的矩阵的秩是否相同呢？

Th10. 矩阵的秩等于它列向量组的秩，也等于它行向量组的秩。

只证列向量的情况，行向量类似。

设矩阵$\mathbf{A}$的秩$r(\mathbf{A})=m$，那么一定存在$m$阶子阵其行列式不为0。对应地，这$m$列所在的列向量组组成的矩阵的秩$r(\mathbf{A},\mathbf{B})>=r(\mathbf{A})$，故其秩为$m$。由Th5得到这是一个线性无关子阵。

再证任意$m+1$的列向量组都线性相关。任取$m+1$阶子式（如果存在的话），它的行列式为0，那么其秩必不满。由Th5得到其线性相关。这即是极大线性无关组的定义。

至此，任何一个向量组的秩，都可以和它对应的矩阵划等号了。

从刚才的证明中可以看出，任何一个极大子式所在的列都可以做为一个极大无关向量组。下面对于求极大向量组的方法进行进一步讨论。

Th11. 初等变换不改变极大无关向量组的表示形式。

设$\mathbf{A}$，以及可逆$\mathbf{P}$，于是有$\mathbf{P}\mathbf{A}=\mathbf{B}$。

我们设$\mathbf{A}$的一个极大组是${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{n}}$。

即有，$k_1{\mathbf{a}}_1+...+k_n{\mathbf{a}}_n=0$.

两侧左乘$\mathbf{P}$，得，$k_1\mathbf{P}{\mathbf{a}}_1+...+k_n\mathbf{P}{\mathbf{a}}_{\mathbf{n}}=0$。

对$\mathbf{A},\mathbf{B}$列分块后，不难发现这就是$\mathbf{B}$列向量的表达形式。

于是可以发现，$\mathbf{A},\mathbf{B}$的极大组的选取和其系数在左乘一个可逆矩阵，即，进行行变换后没有发生改变。

这样一来，求一个向量组的极大无关向量组就可以归结为对其变换为行初等形式后的一系列操作的讨论。

利用极大无关组可以作为对于无穷向量组证明的过渡。下扩展Th4.

Th4’ 向量组的偏序关系

若$\mathbf{B}$能被$\mathbf{A}$表示，那么$r(\mathbf{B})\le r(\mathbf{A})$。

由于向量组的秩等价于极大无关组的向量个数，等价于极大无关组的秩，等价于这个矩阵的秩，由Th4的证明就有$r({\mathbf{B}}_{极大})\le r({\mathbf{A}}_{极大})$。得证。

线性方程组解的结构

这一小节中，我们首先建立对于齐次方程组解的结构的相关理论，随后通过两条简单的性质拓展到非齐次线性方程组。

Th12. 齐次线性方程组解的基本性质

设线性方程$\mathbf{A}\mathbf{X}=0$。设$\mathbf{x}={\xi }_1$与$\mathbf{x}={\xi }_2$均为其的解，那么$\mathbf{x}={\xi }_1+{\xi }_2$也是它的一个解。

设$\mathbf{x}=\xi$是它的一个解，那么$\mathbf{x}=k\ast \xi$也是它的一个解。

上述性质可以概括为，任意多个齐次方程的解的线性组合仍是齐次方程的解。

从这个性质，联系到上一节我们拓展到无穷向量集合的秩的性质，我们猜想，是不是可以用一个向量组的极大无关组来表达它的所有解呢？毕竟，一个极大无关组可以线性表出所有向量，而所有的向量都是极大无关组的线性组合！下面进行简单的讨论。

任意一个方程组的系数矩阵都可以转化成如下的行最简矩阵。
$$\left(\begin{array}{cccccc}1& \cdots & 0& b_{11}& \cdots & b_{1,n-r}\\ ⋮& & ⋮& ⋮& & ⋮\\ 0& \cdots & 1& b_{r1}& \cdots & c_{r,n-r}\\ 0& & & \cdots & & 0\\ ⋮& & & & & ⋮\\ 0& & & \cdots & & 0\end{array}\right)$$
它对应的同解方程组为
$$\begin{gathered} x_1=-b_{11}{x}_{r+1}-\cdots -b_{1,n-r}{x}_n \\ \cdots \cdots \\ {x}_r=-b_{r1}{x}_{r+1}-\cdots -b_{r,n-r}{x}_n \end{gathered}$$
如果我们令$x_{r+1},\cdots ,x_n$都为自由变元的话，这个时候我们进行的是先求通解再求解系的操作；

如果我们令它们等价于$n-r$个自然基向量的话，可以直接得到解系，然后再求通解。

立得如下定理：

Th13. 齐次线性方程组解的结构

$R(\mathbf{A})+R_s=n$，其中$R_s$为$\mathbf{A}$解集的秩。

应用这个定理我们可以证明另一个定理

$\mathbf{A}\mathbf{B}=0\to r(\mathbf{A})+r(\mathbf{B})\le n$。

实际上左侧的条件即为$\mathbf{A}\mathbf{X}=0$的问题，可以发现$\mathbf{B}$是$\mathbf{A}$解系的一个子集。

由Th13, $R(\mathbf{A})+R_s=n$，而$r(\mathbf{B})<R_s$（矩阵和子矩阵的秩关系），得证。

Th14. 非齐次线性方程组解的基本性质

设$$\mathbf{A}\mathbf{X}=\mathbf{b}\cdots (1)$$，$\mathbf{A}\mathbf{X}=0\cdots (2)$。

设$\mathbf{x}={\xi }_1$与$\mathbf{x}={\xi }_2$均为(1)的解，那么$\mathbf{x}={\xi }_1-{\xi }_2$是(2)的一个解。

设$\mathbf{x}=\xi$是(1)的一个解，$\mathbf{x}=\varphi$是(2)的一个解，那么$\mathbf{x}=\xi +\varphi$也是它的一个解。

于是得到

Th15. 非齐次线性方程组解的结构

设$$\mathbf{A}\mathbf{X}=\mathbf{b}\cdots (1)$$，$\mathbf{A}\mathbf{X}=0\cdots (2)$.

那么(1)的通解可以写为$\varphi +\xi$的形式，其中$\xi$是(2)的通解，$\varphi$是(1)的任意一个特解。

向量空间

这一节来讨论向量集合的几何意义。

Def 8. 向量空间

设$n$维向量组$V$。若任意两个向量组中的元素的加法和数乘都封闭，那么这个向量组形成了一个向量空间。

从几何意义上来看，向量空间总是用来表达$1,2,\cdots ,n$维中所有点的集合。有如$L=[\mathbf{x}=\lambda \mathbf{a}+\mu \mathbf{b}]$，当二者共线时退化成一维点集；不共线时表达了二维平面；$L=[0,x_1,\cdots ,x_n]$是退化成$n$维的点集。

两个向量组等价，那么它表达的向量空间等价。

Def 9. 子空间

设有向量空间$V_1,V2$,若$V_1\subseteq V_2$，称$V_1$是$V_2$的一个子空间。

Def 10. 向量空间的基

等价于向量组的极大无关组，可以用来表示整个空间。

Def 10. 坐标

设$V$向量空间有基底$\mathbf{a}$与实数序列$\mathbf{b}=(a_1,\cdots ,a_n)$，那么，任意一个向量$\mathbf{x}$都可以表示成$\mathbf{x}=\mathbf{a}\mathbf{b}$的形式，这个序列$\mathbf{b}$为向量$\mathbf{x}$在基底$\mathbf{a}$下的坐标。

Def 11. 过渡矩阵和坐标变换公式

设${\mathbb{R}}^3$中有基$\mathbf{A}=({\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3)$和$\mathbf{B}=({\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3)$。可以得到

$(\bold {a_1, a_2, a_3}) = \bold {(e_1, e_2, e_3)A} $，而$(\bold {b_1, b_2, b_3}) = \bold {(e_1, e_2, e_3)B} = (\bold {a_1, a_2, a_3}) \bold A^{-1} \bold B$。

设$\mathbf{P}={\mathbf{A}}^{-1}\mathbf{B}$为过渡矩阵。

设向量$\mathbf{x}$在$\mathbf{A}$和$\mathbf{B}$中的坐标分别为$(y_1,y_2,y_3)$和$(z_1,z_2,z_3)$，那么有

$\mathbf{x}=\mathbf{A}(y_1,y_2,y_3{)}^T=\mathbf{B}(z_1,z_2,z_3{)}^T$

即，$(z_1,z_2,z_3{)}^T={\mathbf{B}}^{-1}\mathbf{A}(y_1,y_2,y_3{)}^T$。

其中${\mathbf{B}}^{-1}\mathbf{A}={\mathbf{P}}^{-1}$。