矩阵论复习

第1讲 线性空间与线性算子

1.1 线性空间

数环

设 $Z$ 为非空数集且其中任何两个相同或者相异的数之和、差与积仍属于 $Z$（即数集关于加、减、乘法运算封闭），则称 $Z$ 是一个数环。

根据数环的定义有：

1. 任何数环 $Z$ 必含有0。因为若 $a\in Z$，则 $a-a=0\in Z$；
2. 若 $a\in Z$，则 $-a\in Z$，因为 $0-a=-a\in Z$.

因此， Z = { 0 } Z=\{0\} Z={0} 是最小的数环。

数域

如果 $P$ 是至少含有两个互异数的数环，并且其中任何两个数（不一定互异）之商仍属于 $P$（数集关于四则运算运算封闭），则说 $P$ 是一个数域。

根据数域的定义有：

1. 任何数域 $P$ 必含有0与1。因为 $P$ 中至少有一个数 $a\ne 0$，而 $a/a=1\in P$；
2. 若 $a\ne 0$，则 $1/a=a^{-1}\in P$.

线性空间

设 $V$ 是一个非空集合，$P$ 是一个数域。如果 $V$ 满足如下两个条件：

1. 在 $V$ 中定义一个封闭的加法运算，即当 $\mathbf{x},\mathbf{y}\in V$ 时，有惟一的和 $\mathbf{x}+\mathbf{y}\in V$，并且加法运算满足下面四条性质：
   • $\mathbf{x}+\mathbf{y}=\mathbf{y}+\mathbf{x}$（交换律）
   • $\mathbf{x}+(\mathbf{y}+\mathbf{z})=(\mathbf{x}+\mathbf{y})+\mathbf{z}$（结合律）
   • 存在零元素 $0\in V$，对于 $V$ 中任何一个元素 $\mathbf{x}$ 都有 $\mathbf{x}+0=\mathbf{x}$；
   • 存在负元素，即对任一元素 $\mathbf{x}\in V$，存在一元素 $\mathbf{y}\in V$，使 $\mathbf{x}+\mathbf{y}=0$，且称 $\mathbf{y}$ 为 $\mathbf{x}$ 的负元素，记为 $-\mathbf{x}$，于是有 $\mathbf{x}+(-\mathbf{x})=0$.
2. 在 $V$ 中定义一个封闭的数乘运算，即当 $\mathbf{x}\in V，\lambda \in P$ 时，有惟一的 $\lambda \mathbf{x}\in V$，并且数乘运算满足下面四条性质：
   • $（\lambda +\mu ）\mathbf{x}=\lambda \mathbf{x}+\mu \mathbf{x}$（分配律）
   • $\lambda (\mathbf{x}+\mathbf{y})=\lambda \mathbf{x}+\lambda \mathbf{y}$（数因子分配律）
   • $\lambda (\mu \mathbf{x})=(\lambda \mu )\mathbf{x}$（结合律）
   • $1\mathbf{x}=\mathbf{x}$.

其中 $x,y,z$ 表示 $V$ 中的任意元素；$\lambda ,\mu$ 是数域 $P$ 中任意数；1 是数域 $P$ 中的单位数。

这时，我们定义 $V$ 是 数域 $P$ 上的线性空间。

我们把 $V$ 中满足8条性质且为封闭的加法及数乘两种运算，统称线性运算（线性空间的本质）。即定义了线性运算的集合，就称为线性空间。

线性空间的概念是集合和运算两者的结合。

基、维数与坐标

设 $V$ 是数域 $P$ 上的线性空间，${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ ($n\ge 1$) 是属于 $V$ 的任意 $n$ 个向量，如果它满足：

1. ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 线性无关；
2. $V$ 中任一向量 $\mathbf{x}$ 均可由 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 来线性表示；

则称 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是 $V$ 的一组基（基底） ，并称 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 为基向量。$n$ 称为线性空间 $V$ 的维数，记为 $\text{dim }V=n$ ，并称 $V$ 为 $\mathbf{n}$ 维线性空间，简记为 $V^n$.

线性空间的基不是惟一的，但是不同基所含向量的个数是相等的，即线性空间的维数是确定的。

**定理：**设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是 $V^n$ 的一组基，对于任何向量 $\mathbf{x}\in V^n$，则它可以惟一地由 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 线性表示。

设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是线性空间 $V^n$ 的一组基，对于任一向量 $\mathbf{x}\in V^n$，总有且仅有一组有序数 $a_1,a_2,\cdots ,a_n$ 使
$$\mathbf{x}=a_1{\mathbf{x}}_1+a_2{\mathbf{x}}_2+\cdots +a_n{\mathbf{x}}_n$$
$a_1,a_2,\cdots ,a_n$ 这组有序数就称为向量 $\mathbf{x}$ 在基 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 下的坐标，并记作
$$\mathbf{X}=(a_1,a_2,\cdots ,a_n)$$
同一向量 $\mathbf{x}$ 在不同的基下的坐标往往是不同的。

过渡矩阵与坐标变换公式

设 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 及 ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_n^{\prime }$ 是 $V^n$ 中的两组基，且
$$\{\begin{array}{l}{\mathbf{e}}_1^{\prime }=c_{11}{\mathbf{e}}_1+c_{21}{\mathbf{e}}_2+\cdots +c_{n1}{\mathbf{e}}_n,\\ {\mathbf{e}}_2^{\prime }=c_{12}{\mathbf{e}}_1+c_{22}{\mathbf{e}}_2+\cdots +c_{n2}{\mathbf{e}}_n,\\ \\ {\mathbf{e}}_n^{\prime }=c_{1n}{\mathbf{e}}_1+c_{2n}{\mathbf{e}}_2+\cdots +c_{nn}{\mathbf{e}}_n\end{array}$$
或者写成矩阵形式
$$\left({\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_n^{\prime }\right)=\left({\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n\right)\mathbf{C}$$
其中矩阵
$$\mathbf{C}=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ & & & \\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$$

称为由基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 变到基 ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_n^{\prime }$ 的过渡矩阵。

设 $\mathbf{x}\in V^n$，且在两组基下的坐标分别为 $(x_1,x_2,\cdots ,x_n)$ 及 $(x_1^{\prime },x_2^{\prime },\cdots ,x_n^{\prime })$，即
$$\mathbf{x}=x_1{\mathbf{e}}_1+x_2{\mathbf{e}}_2+\cdots +x_n{\mathbf{e}}_n=x^{\prime }{\mathbf{e}}_1^{\prime }+x_2^{\prime }{\mathbf{e}}_2^{\prime }+\cdots +x_n^{\prime }{\mathbf{e}}_n^{\prime }$$
写成矩阵形式再代入过渡矩阵公式，可以得到
$$\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ \\ x_n^{\prime }\end{array}\right)={\mathbf{C}}^{-1}\left(\begin{array}{c}{x}_1\\ x_2\\ \\ x_n\end{array}\right)$$
称为基变换式下向量的坐标变换公式。

线性子空间

设 $V_1$ 是数域 $P$ 上线性空间 $V$ 的一个子集，且这个子集对 $V$ 已有的加法和数乘运算也构成线性空间，则称 $V_1$ 为 $V$ 的线性子空间，简称子空间，记为 $V_1\subseteq V$，当 $V_1\ne V$ 时，记为 $V_1\subset V$.

设 $V_1$ 是线性空间的 $V$ 的一个非空子集，则 $V_1$ 是 $V$ 的一个子空间的充分必要条件为

1. 如果 $\mathbf{x},\mathbf{y}\in V_1$，则 $\mathbf{x}+\mathbf{y}\in V_1$:
2. 如果 $\mathbf{x}\in V_1$，$k\in P$，则 $k\mathbf{x}\in V_1$.

每个线性空间至少有两个子空间，一个是自身，另一个是零向量构成的零子空间。这个子空间通常称为平凡子空间，其他子空间称为非平凡子空间或真子空间。

设 $\mathbf{A}=\in {\mathbb{R}}^{m\times n}$，齐次线性方程组
$$\mathbf{A}\mathbf{x}=0$$
的全部解向量构成 $n$ 维线性空间 ${\mathbb{R}}^n$ 的一个子空间，称为齐次线性方程组的解空间，记作 $N(\mathbf{A})$ 或 $\ker (\mathbf{A})$ .因为解空间的基就是齐次线性方程组的基础解系，所以 $\dim (N(\mathbf{A}))=n-\text{rank}(\mathbf{A})$.

设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是线性空间 $V$ 中一组向量，这组向量所有可能的线性组合的集合
V 1 = { k 1 x 1 + k 2 x 2 + ⋯ + k n x n } V_1=\{ k_1\mathbf x_1+k_2\mathbf x_2+\cdots+k_n\mathbf x_n \} V1​={k1​x1​+k2​x2​+⋯+kn​xn​}

$V_1$ 是 $V$ 的子空间，这个子空间称作由 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 生成的子空间，记作
Span ( x 1 , x 2 , ⋯   , x n ) = { k 1 x 1 + k 2 x 2 + ⋯ + k n x n } \text{Span}(\mathbf x_1,\mathbf x_2,\cdots,\mathbf x_n)=\{k_1\mathbf x_1+k_2\mathbf x_2+\cdots+k_n\mathbf x_n\} Span(x1​,x2​,⋯,xn​)={k1​x1​+k2​x2​+⋯+kn​xn​}

设 $V_1$ 和 $V_2$ 是 $n$ 维线性空间 $V$ 的两个子空间，由同时属于这两个子空间中的向量构成的子集合，叫做 $V_1$ 与 $V_2$ 的交，记作 $V_1\bigcap V_2$.

设 $V_1$ 和 $V_2$ 是 $n$ 维线性空间 $V$ 的两个子空间，且 $\mathbf{x}\in V_1$，$\mathbf{y}\in V_2$，由所有 $\mathbf{x}+\mathbf{y}$ 这样的向量构成的集合，叫做 $V_1$ 与 $V_2$ 的和或者和空间，记作 $V_1+V_2$.

基的扩充定理：设 $V_1$ 是数域 $P$ 上 $n$ 维线性空间 $V$ 的一个 $m$ 维子空间，${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_m$ 是 $V_1$ 的一组基，那么它们必定可扩充为整个空间上的基。

维数公式：设 $V_1$ 和 $V_2$ 是数域 $P$ 上线性空间 $V$ 的一个两个子空间，则
$$\dim V_1+\dim V_2=\dim (V_1+V_2)+\dim (V_1\bigcap V_2)$$
如果 $V_1+V_2$ 中的任一向量只能惟一地表示为子空间 $V_1$ 的一个向量与子空间 $V_2$ 的一个向量的和，则称 $V_1+V_2$ 为直和，记为 $V_1⨁V_2$ 或 $V_1+V_2$.

$V_1+V_2$ 为直和的充要条件是
$$V_1\bigcap V_2=0$$
或
$$\dim (V_1+V_2)=\dim V_1+\dim V_2$$
设 $V_1$ 是 $n$ 维线性空间 $V$ 的一个子空间，则一定存在 $V$ 的一个子空间 $V_2$，使
$$V=V_1⨁V_2$$
表明线性空间可作直和分解，且不是惟一的。

1.2 线性算子及其矩阵

线性空间上的线性算子

设 $M$ 与 $M^{\prime }$ 为两个集合，对于每个 $\mathbf{x}\in M$，如果根据某种法则 $\mathcal{A}$，在 $M^{\prime }$ 中有确定的 ${\mathbf{x}}^{\prime }$ 与之对应，那么称 $\mathcal{A}$ 为由 $M$ 到 $M^{\prime }$ 的一个映射，或称算子。记为 $\mathscr A :M\to M’ $，或 $\mathcal{A}(\mathbf{x})={\mathbf{x}}^{\prime }$.

设 $V$ 与 $V’$ 为数域 $P$ 上的两个线性空间，$\mathcal{A}$ 是由 $V$ 到 $V’$ 一个算子，且对于 $V$ 的任何两个向量 ${\mathbf{x}}_1,{\mathbf{x}}_2\in V$ 和任何数 $\lambda \in P$，有
$$\begin{array}{rl}& \mathcal{A}({\mathbf{x}}_1+{\mathbf{x}}_2)=\mathcal{A}({\mathbf{x}}_1)+\mathcal{A}({\mathbf{x}}_2)\\ & \mathcal{A}(\lambda {\mathbf{x}}_1)=\lambda \mathcal{A}({\mathbf{x}}_1)\end{array}$$
这两个条件（可加性与齐次性）也可以写成
$$\mathcal{A}({\lambda }_1{\mathbf{x}}_1+{\lambda }_2{\mathbf{x}}_2)={\lambda }_1\mathcal{A}({\mathbf{x}}_1)+{\lambda }_2\mathcal{A}({\mathbf{x}}_2)$$
则称 $\mathcal{A}$ 是由 $V$ 到 $V^{\prime }$ 的线性算子(或线性映射).

同构算子与线性空间同构

设 $\mathscr A $ 是由 $V$ 到 $V^{\prime }$ 的线性算子，且是“一对一”的，即满足

1. $\mathcal{A}(V)=V^{\prime }$；
2. 若 ${\mathbf{x}}_1,{\mathbf{x}}_2\in V$，当 ${\mathbf{x}}_1\ne {\mathbf{x}}_2$ 时，有 $\mathcal{A}({\mathbf{x}}_1)\ne \mathcal{A}({\mathbf{x}}_2)$；换言之，由 $\mathcal{A}({\mathbf{x}}_1)=\mathcal{A}({\mathbf{x}}_2)$，就有 ${\mathbf{x}}_1={\mathbf{x}}_2$ (可逆映射)；

那么称 $\mathcal{A}$ 为 $V$ 与 $V^{\prime }$ 间的一个同构算子。

若 $V$ 与 $V^{\prime }$ 存在同构算子，则称 $V$ 与 $V^{\prime }$ 是同构的线性空间，简称 $V$ 与 $V^{\prime }$ 同构。

数域 $P$ 上的两个有限维线性空间同构的充要条件是：两空间的维数相等。

线性算子的矩阵表示

线性空间中抽象的向量可以在基下用具体的坐标来表示。下面建立抽象的线性算子和具体的矩阵之间的关系。

设 $\mathcal{A}$ 与 $\mathcal{B}$ 是由 $V^n$ 到 $V^m$ 的两个线性算子，如果对于任何 $\mathbf{x}\in V^n$ 恒有
$$\mathcal{B}(\mathbf{x})=\mathcal{A}(\mathbf{x})\in V^m$$
则说线性算子 $\mathcal{B}$ 与 $\mathcal{A}$ 相等。

设 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 是 $n$ 维线性空间 $V^n$ 的一组基，$\mathcal{A}$ 是由 $V^n$ 到 $m$ 维线性空间 $V^m$ 的线性算子，则 $\mathcal{A}({\mathbf{e}}_1),\mathcal{A}({\mathbf{e}}_2),\cdots ,\mathcal{A}({\mathbf{e}}_n)\in V^m$ 叫做 $V^n$ 在算子 $\mathcal{A}$ 下的基像。

定理：由 $V^n$ 到 $V^m$ 的线性算子 $\mathcal{A}$ 由基像 $\mathcal{A}({\mathbf{e}}_1),\mathcal{A}({\mathbf{e}}_2),\cdots ,\mathcal{A}({\mathbf{e}}_n)$ 惟一确定。

因此要建立线性算子与具体矩阵之间的联系，只需要考察它的一组基像的坐标即可。

设 $\mathcal{A}$ 是由 $n$ 维线性空间 $V^n$ 到 $m$ 维线性空间 $V^m$ 的一个线性算子，取 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 作为 $V^n $ 的基， ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_n^{\prime }$ 作为 $V^m$ 的基。由于线性算子 $\mathcal{A}$ 由基像惟一确定，且基像属于 $V^m$，故可令
$$\{\begin{array}{l}\mathcal{A}({\mathbf{e}}_1)=a_{11}{\mathbf{e}}_1^{\prime }+a_{21}{\mathbf{e}}_2^{\prime }+\cdots +a_{m1}{\mathbf{e}}_m^{\prime }\\ \mathcal{A}({\mathbf{e}}_2)=a_{12}{\mathbf{e}}_1^{\prime }+a_{22}{\mathbf{e}}_2^{\prime }+\cdots +a_{m2}{\mathbf{e}}_m^{\prime }\\ \\ \mathcal{A}({\mathbf{e}}_n)=a_{1n}{\mathbf{e}}_1^{\prime }+a_{2n}{\mathbf{e}}_2^{\prime }+\cdots +a_{mn}{\mathbf{e}}_m^{\prime }\end{array}$$
或写成
$$\begin{array}{rl}\mathcal{A}({\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n)& =\left(\mathcal{A}({\mathbf{e}}_1),\mathcal{A}({\mathbf{e}}_2),\cdots ,\mathcal{A}({\mathbf{e}}_n)\right)\\ & =\left(\sum _{j=1}^m{a}_{j1}{\mathbf{e}}_j^{\prime },\sum _{j=1}^m{a}_{j2}{\mathbf{e}}_j^{\prime },\cdots ,\sum _{j=1}^m{a}_{jn}{\mathbf{e}}_j^{\prime }\right)\\ & =({\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_n^{\prime })\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)\end{array}$$
令
$$\mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$$
矩阵 $\mathbf{A}$ 称为线性算子 $\mathcal{A}$ 在基偶 { e 1 , e 2 , ⋯   , e n } \{\mathbf e_1,\mathbf e_2,\cdots,\mathbf e_n\} {e1​,e2​,⋯,en​} 与 { e 1 ′ , e 2 ′ , ⋯   , e n ′ } \{ \mathbf e'_1,\mathbf e'_2,\cdots,\mathbf e'_n \} {e1′​,e2′​,⋯,en′​} 下的矩阵表示.

定理：若 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 是 $n$ 维线性空间的 $V^n$ 的一组基，而 ${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_n$ 是 $m$ 维线性空间 $V^m$ 中任意 $n$ 个向量，则存在惟一一个线性算子 $\mathcal{A}$ ，把 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 分别映射为 ${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_n$ ，即
$${\mathbf{y}}_i=\mathcal{A}({\mathbf{e}}_i),i=1,2,\cdots ,n.$$

设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是线性空间 $V$ 中的一组向量，如果这一组向量系中存在 $r$ 个线性无关的向量 ${\mathbf{x}}_{i_1},{\mathbf{x}}_{i_2},\cdots ,{\mathbf{x}}_{i_r}$，且 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 中任一向量都可以由向量系 ${\mathbf{x}}_{i_1},{\mathbf{x}}_{i_2},\cdots ,{\mathbf{x}}_{i_r}$ 惟一地线性表示，则称向量组 ${\mathbf{x}}_{i_1},{\mathbf{x}}_{i_2},\cdots ,{\mathbf{x}}_{i_r}$ 是 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 的极大线性无关组，称 $r$ 为向量系 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 的秩（rank）.

超平面

设 $S$ 是线性空间 $V$ 的一个子空间，${\mathbf{x}}_0$ 是一个固定的向量，集合 H = { x ∣ x = x 0 + y , y ∈ S } H=\{ \bm x|\bm x=\bm x_0+\bm y,\bm y\in S \} H={x∣x=x0​+y,y∈S}，这时集合 $H$ 称为子空间 $S$ 按向量 ${\mathbf{x}}_0$ 移动得到的超平面。

线性算子的运算

设 $V_1,V_2,V_3$ 是数域 $P$ 上的线性空间，把 $V_1$ 到 $V_2$ 的所有线性算子组成的集合记为 $\mathcal{D}(V_1,V_2)$，$\mathcal{D}(V_2,V_1)$，$\mathcal{D}(V_1,V_3)$ 类似。

设 $\mathcal{A},\mathcal{B}\in (V_1,V_2)$，如果有
$$(\mathcal{A}+\mathcal{B})(\mathbf{x})=\mathcal{A}(\mathbf{x})+\mathcal{B}(\mathbf{x}),\forall \mathbf{x}\in V_1$$
则称 $\mathcal{A}+\mathcal{B}$ 为 $\mathcal{A}$ 与 $\mathcal{B}$ 的和；

设 $\mathcal{A}\in (V_1,V_2)$，$\mathcal{B}\in (V_2,V_3)$，如果有
$$(\mathcal{B}\mathcal{A})(\mathbf{x})=\mathcal{B}(\mathcal{A}(\mathbf{x})),\forall \mathbf{x}\in V_1$$
则称 $\mathcal{B}\mathcal{A}$ 为 $\mathcal{A}$ 与 $\mathcal{B}$ 的乘积。

它们均为线性算子。

线性算子的运算与矩阵的运算一一对应，即

1. 当 $\mathcal{A}\leftrightarrow \mathbf{A},\mathcal{B}\leftrightarrow \mathbf{B}$ 时，有 $\mathcal{A}+\mathcal{B}\leftrightarrow \mathbf{A}+\mathbf{B}$;
2. 当 $\mathcal{A}\leftrightarrow \mathbf{A},\mathcal{B}\leftrightarrow \mathbf{B}$ 时，有 $\mathcal{B}\mathcal{A}\leftrightarrow \mathbf{B}\mathbf{A}$;
3. 当 $\mathcal{A}\leftrightarrow \mathbf{A},\forall k\in P$ 时，有 $k\mathcal{A}\leftrightarrow k\mathbf{A}$;

从而我们可以对线性算子的研究转化为对矩阵的研究。

设 $V_n$ 到 $V_m$ 的线性算子 $\mathcal{A}$ 在基偶 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 与 ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_m^{\prime }$ 下的矩阵为 $\mathbf{A}$，向量 $\mathbf{x}\in V_n$ 在基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 下的坐标是 $(x_1,x_2,\cdots ,x_n)$，则 $\mathcal{A}(\mathbf{x})$ 在基 ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_m^{\prime }$ 下的坐标 $(y_1,y_2,\cdots ,y_m)$，可按公式
$$\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)=\mathbf{A}\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$

线性变换与方阵

由 $V$ 到 $V$ 的线性算子 $\mathcal{A}$ 叫做 $V$ 上的线性变换。

相似矩阵的几何解释

同一向量在不同基下的坐标往往不同，同一线性变换在不同基下的矩阵也往往不同，下面考察同一线性变换在不同基下的矩阵之间的关系。

定理：设线性空间 $V_n$ 上的线性变换 $\mathcal{A}$ 对于基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 下的矩阵为 $\mathbf{A}$，而对于另一组基 ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_m^{\prime }$ 下的矩阵为 $\mathbf{B}$，且由基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 到基 ${\mathbf{e}}_1^{\prime },{\mathbf{e}}_2^{\prime },\cdots ,{\mathbf{e}}_m^{\prime }$ 的过渡矩阵为 $\mathbf{C}$，则有
$$\mathbf{B}={\mathbf{C}}^{-1}\mathbf{A}\mathbf{C}.$$

如果 $\mathbf{A}$ 与 $\mathbf{B}$ 是数域 $P$ 上的两个 $n$ 阶矩阵，且可找到 $P$ 上的 $n$ 阶非奇异矩阵 $\mathbf{C}$ ，使得 $\mathbf{B}={\mathbf{C}}^{-1}\mathbf{A}\mathbf{C}$，则称 $\mathbf{A}$ 与 $\mathbf{B}$ 相似，记为 $\mathbf{A}\sim \mathbf{B}$.

相似的几何解释：线性变换在不同基下的矩阵是相似的。

如果 $\mathbf{A}$ 与 $\mathbf{B}$ 都是 $m\times n$ 阶矩阵，如果存在非奇异的 $m$ 阶方阵 $\mathbf{D}$ 和 $n$ 阶方阵 $\mathbf{C}$，使
$$\mathbf{B}=\mathbf{D}\mathbf{A}\mathbf{C}$$ 成立，则称 $\mathbf{A}$ 与 $\mathbf{B}$ 相抵，记为 $\mathbf{A}\simeq \mathbf{B}$.

相抵的集合解释：在线性空间 $V_n$ 和 $V_m$ 中，同一个线性算子在不同基偶下的所对应的矩阵 $\mathbf{A}$ 与 $\mathbf{B}$ 之间的关系。

设 $\mathbf{A}$ 与 $\mathbf{B}$ 是两个 $n$ 阶方阵，如果存在非奇异的 $n$ 阶方阵 $\mathbf{C}$，使得
$$\mathbf{B}={\mathbf{C}}^{\text{T}}\mathbf{A}\mathbf{C}$$
则称矩阵 $\mathbf{A}$ 与 $\mathbf{B}$ 是相合的。

第2讲 内积空间与等积变换

2.1 内积空间

内积空间与欧几里得空间

设 $V$ 是实数域 $\mathbb{R}$ 上的线性空间，对于 $V$ 上的任意两个向量 $\mathbf{x},\mathbf{y}$，存在一实数与之对应，记作 $(\mathbf{x},\mathbf{y})$，且满足以下条件：

1. $(\mathbf{x},\mathbf{y})=(\mathbf{y},\mathbf{x})$;
2. $(\mathbf{x}+\mathbf{y},\mathbf{z})=(\mathbf{x}.\mathbf{z})+(\mathbf{y},\mathbf{z})$;
3. $(k\mathbf{x},\mathbf{y})=k(\mathbf{x},\mathbf{y})$， $\forall k\in \mathbb{R}$；
4. $(\mathbf{x},\mathbf{x})\ge 0$，当且仅当 $\mathbf{x}=0$，$(\mathbf{x},\mathbf{x})=0$;

则称
该实数 $(\mathbf{x},\mathbf{y})$ 是向量 $\mathbf{x}$ 与 $\mathbf{y}$ 的内积。
如此定义了内积的实线性空间 $V$ 叫做欧几里得空间。

非负实数 $\sqrt{(\mathbf{x},\mathbf{x})}$ 叫做向量 $\mathbf{x}$ 的长度或模，记为 $|\mathbf{x}|$.当 $\mathbf{x}\ne 0$时，总有 $\frac{\mathbf{x}}{|\mathbf{x}|}$ 是一个单位向量，这个过程称为把 $\mathbf{x}$ 单位化或者规范化。

柯西-施瓦茨不等式：
$$\left|\frac{(\mathbf{x},\mathbf{y})}{|\mathbf{x}||\mathbf{y}|}\right|\le 1,$$
即
$$|(\mathbf{x},\mathbf{y})|\le |\mathbf{x}||\mathbf{y}|$$
当且仅当 $\mathbf{x},\mathbf{y}$ 线性相关时，等号成立。

非零向量 $\mathbf{x}$ 与 $\mathbf{y}$ 的夹角 $<\mathbf{x},\mathbf{y}>$ 规定为
$$<\mathbf{x},\mathbf{y}>=\arccos \frac{(\mathbf{x},\mathbf{y})}{|\mathbf{x}||\mathbf{y}|},0\le <\mathbf{x},\mathbf{y}>\le \pi$$

将 $|\mathbf{x}-\mathbf{y}|$称为向量 $\mathbf{x}$ 与 $\mathbf{y}$ 之间的距离。

度量矩阵
内积 $(\mathbf{x},\mathbf{y})$ 可以表示成：
$$(\mathbf{x},\mathbf{y})={\mathbf{X}}^{\text{T}}\mathbf{A}\mathbf{Y}$$
$$\mathbf{A}=\left(\begin{array}{cccc}({\mathbf{e}}_1,{\mathbf{e}}_1)& ({\mathbf{e}}_1,{\mathbf{e}}_2)& \cdots & ({\mathbf{e}}_1,{\mathbf{e}}_n)\\ ({\mathbf{e}}_2,{\mathbf{e}}_1)& ({\mathbf{e}}_2,{\mathbf{e}}_2)& \cdots & ({\mathbf{e}}_2,{\mathbf{e}}_n)\\ ⋮& ⋮& & ⋮\\ ({\mathbf{e}}_n,{\mathbf{e}}_1)& ({\mathbf{e}}_n,{\mathbf{e}}_2)& \cdots & ({\mathbf{e}}_n,{\mathbf{e}}_n)\end{array}\right)$$
叫做基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n$ 的度量矩阵。

度量矩阵是

1. 对称正定矩阵
2. 两组不同基的度量矩阵不同，但是相合

正交性

设 $\mathbf{x},\mathbf{y}$ 为欧式空间的两个向量，如果 $(\mathbf{x},\mathbf{y})=0$，则说 $\mathbf{x}$ 与 $\mathbf{y}$ 正交，记为 $\mathbf{x}\perp \mathbf{y}$.

欧式空间中一组非零向量，如果它们两两正交，则称其为一个正交向量组。
若 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是正交向量组，则有
$$|{\mathbf{x}}_1+{\mathbf{x}}_2+\cdots +{\mathbf{x}}_n{|}^2=|{\mathbf{x}}_1{|}^2+|{\mathbf{x}}_2{|}^2+\cdots +|{\mathbf{x}}_n{|}^2$$

定理：如果 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是一组两两正交的非零向量，则它们必是线性无关的。

施密特正交化

标准正交基
在欧式空间 $V_n$ 中，由 $n$ 个两两正交的非零向量组成的向量系构成的基底称为 $V_n$ 的一组正交基；若该向量系的向量的长度都为1，则称其为标准正交基。

定理：设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 是 $V_n$ 的一组标准正交基底，则对 $\forall \mathbf{x}\in V_n$，都有
$$\mathbf{x}=(\mathbf{x},{\mathbf{x}}_1){\mathbf{x}}_1+(\mathbf{x},{\mathbf{x}}_2){\mathbf{x}}_2+\cdots +(\mathbf{x},{\mathbf{x}}_n){\mathbf{x}}_n$$

酉空间介绍

设 $V$ 是复数域 $\mathbb{C}$ 上的线性空间，对于 $V$ 中任意两个向量 $\mathbf{x},\mathbf{y}$ ，如能给定某种规则，使 $\mathbf{x},\mathbf{y}$ 对应着一个复数 $(\mathbf{x},\mathbf{y})$ ，它能满足以下条件：

1. $(\mathbf{x},\mathbf{y})=\overline{(\mathbf{y},\mathbf{x})}$;
2. $(\mathbf{x}+\mathbf{y},\mathbf{z})=(\mathbf{x},\mathbf{z})+(\mathbf{y},\mathbf{z})$;
3. $(k\mathbf{x},\mathbf{y})=k(\mathbf{x},\mathbf{y})$;
4. $(\mathbf{x},\mathbf{x})\ge 0$，当且仅当 $\mathbf{x}=0$ 时，$(\mathbf{x},\mathbf{x})=0$

酉空间的性质：

1. $(\mathbf{x},k\mathbf{y})=\overline{k}(\mathbf{x},\mathbf{y})$;
2. $(\mathbf{x},0)=(0,\mathbf{x})=0$;

线性泛函与伴随变换

$V$ 是定义在数域 $P$ 上的线性空间，则 $V\to P$ 的线性映射 $\phi$ 称为 $V$ 上的线性泛函。

定理：设 $\phi$ 是 $V$ 上的线性泛函，$\forall \mathbf{u}\in V$，则存在惟一的一个向量 $\mathbf{v}$ 使得
$$\phi (\mathbf{u})=(\mathbf{u},\mathbf{v}),\mathbf{u}\in V$$

设 $T$ 是从酉空间 ${\mathbb{C}}^n\to {\mathbb{C}}^n$ 内的一个线性变换，$T^{\ast }$ 也是从 ${\mathbb{C}}^n\to {\mathbb{C}}^n$ 内的一个线性变换，如果对任意两个向量 $\mathbf{x},\mathbf{y}\in {\mathbb{C}}^n$ 恒有
$$(T\mathbf{x},\mathbf{y})=(\mathbf{x},T^{\ast }\mathbf{y})$$
就称 $T^{\ast }$ 为 $T$ 的伴随变换。

定理：对于任一个线性变换 $T({\mathbb{C}}^n\to {\mathbb{C}}^n)$，恒存在惟一的伴随变换 $T^{\ast }$.

在同一标准正交基下，$T$ 的伴随变换 $T^{\ast }$ 的矩阵表示就是 $T$ 的矩阵表示的共轭转置。

设 $T$ 为从 ${\mathbb{C}}^n\to {\mathbb{C}}^n$ 的线性变换，$T^{\ast }$ 是它的伴随矩阵，若
$$T=T^{\ast }$$
则称 $T$ 为自伴变换。

2.2 等积变换及其矩阵

正交变换与正交矩阵

设 $V$ 是一个欧式空间，$\mathcal{A}$ 是 $V$ 上的线性变换，如果对于任何向量 $\mathbf{x},\mathbf{y}\in V$，变换 $\mathcal{A}$ 恒能使下式成立：
$$(\mathcal{A}(\mathbf{x}),\mathcal{A}(\mathbf{y}))=(\mathbf{x},\mathbf{y})$$
则说 $\mathcal{A}$ 是 $V$ 上的正交变换。

正交变换的充要条件：

1. $\mathcal{A}$ 使向量长度保持不变，即$$(\mathcal{A}(\mathbf{x}),\mathcal{A}(\mathbf{x}))=(\mathbf{x},\mathbf{x})$$；
2. 任一组标准正交基经 $\mathcal{A}$ 变换后的像仍是一组标准正交基；
3. $\mathcal{A}$ 在任一组标准正交基下的矩阵 $\mathbf{A}$ 满足$${\mathbf{A}}^{\text{T}}\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\text{T}}=\mathbf{I}或{\mathbf{A}}^{-1}={\mathbf{A}}^{\text{T}}$$即 $\mathbf{A}$ 是正交矩阵

定理：在欧式空间中，正交变换在标准正交基下的矩阵是正交矩阵；反之亦然。

正交矩阵的常用性质：

1. 是非奇异的，且 $\text{det}\mathbf{A}=1或-1$；
2. 正交矩阵的逆矩阵仍是正交矩阵；
3. 正交矩阵的乘积仍为正交矩阵；
4. 实数域上方阵 $\mathbf{A}$ 是正交矩阵的充要条件是：$\mathbf{A}$ 的行(列)向量组为标准正交向量组。

定理：设 ${\mathbf{\epsilon }}_1,{\mathbf{\epsilon }}_2,\cdots ,{\mathbf{\epsilon }}_n$ 及 ${\mathbf{\epsilon }}_1^{\prime },{\mathbf{\epsilon }}_2^{\prime },\cdots ,{\mathbf{\epsilon }}_n^{\prime }$ 是欧式空间 $V^n$ 的两组标准正交基，它们之间的过渡矩阵 $\mathbf{A}$ 是正交矩阵。

两类常用的正交变换及其矩阵

${\mathbf{R}}_{ij}$ 叫做初等旋转矩阵；它所确定的变换叫做初等旋转变换。
有如下性质

1. $\text{det}{\mathbf{R}}_{ij}=1$;
2. ${\mathbf{R}}_{ij}$ 对应的初等旋转变换是正交变换，${\mathbf{R}}_{ij}$ 是正交矩阵。

在欧式空间 ${\mathbb{R}}^n$ 中，设有线性变换将向量 $\mathbf{\xi }$ 映射成与单位向量正交的 $n-1$ 维子空间对称的像 $\mathbf{\eta }$，且有
$$\mathbf{\eta }=(\mathbf{I}-2\mathbf{w}{\mathbf{w}}^{\text{T}})\mathbf{\xi }=\mathbf{H}\mathbf{\xi }$$
则称这种线性变换为镜像变换，或 Householder 变换。
其中矩阵 $\mathbf{H}$ 称为初等反射矩阵。

初等反射矩阵的性质：

1. $\mathbf{H}$ 是对称的正交矩阵；
2. $\det \mathbf{H}=\det (\mathbf{I}-2\mathbf{w}{\mathbf{w}}^{\text{T}})=-1$.

酉变换与酉矩阵

设 $V$ 是一个酉空间，$\mathcal{A}$ 是 $V$ 上的一个线性变换，如果对于任何 $\mathbf{x}.\mathbf{y}\in V$ 恒有
$$(\mathcal{A}(\mathbf{x}),\mathcal{A}(\mathbf{y}))=(\mathbf{x},\mathbf{y})$$
则说 $\mathcal{A}$ 是一个酉变换。

2.3 内积空间中的正交子空间

设 $V_1$ 与 $V_2$ 是内积空间 $V^n$ 的两个子空间，如果对 $\forall {\mathbf{x}}_1\in V_1,{\mathbf{x}}_2\in V_2$，都有
$$({\mathbf{x}}_1,{\mathbf{x}}_2)=0$$
则称子空间 $V_1,V_2$ 正交，记为 $V_1\perp V_2$.

设 $V_1$ 是内积空间 $V$ 的一个子空间，$V$ 中所有与 $V_1$ 正交的向量所组成的集合，记为 $V_1^{\perp }$，即 V 1 ⊥ = { α ∈ V ∣ α ⊥ V 1 } V^{\bot}_1=\{\alpha\in V| \alpha\bot V_1\} V1⊥​={α∈V∣α⊥V1​}，称 $V_1^{\perp }$ 为 $V_1$ 的正交补。

定理：
设 $V_1$ 是内积空间 $V^n$ 的任一子空间，则存在惟一的子空间 $V_1^{\perp }\subset V^n$ 使得 $V_1\oplus V_1^{\perp }=V^n$

第3讲 赋范线性空间与矩阵范数

3.1 向量的范数

如果 $V$ 是数域 $P$ 上的线性空间，且对于 $V$ 的任一向量 $\mathbf{x}$，对应着一个函数 $||\mathbf{x}||$，它满足以下3个条件：

1. 非负性：$||\mathbf{x}||\ge 0$；当且仅当 $\mathbf{x}=0$ 时，等号成立；
2. 齐次性：$||k\mathbf{x}||=|k|||\mathbf{x}||,k\in P$；
3. 三角不等式：$||\mathbf{x}+\mathbf{y}||\le ||\mathbf{x}||+||\mathbf{y}||,\mathbf{x}.\mathbf{y}\in V$；

则称 $||\mathbf{x}||$ 为 $V$ 上向量 $\mathbf{x}$ 的范数。

对任意向量 $\mathbf{x}=(x_1,x_2,\cdots ,x_n{)}^{\text{T}}\in {\mathbb{R}}^n,1\le p<+\infty$，由 $||\mathbf{x}|{|}_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}$ 定义的 $||\mathbf{x}|{|}_p$ 是 ${\mathbb{R}}^n$ 上的向量范数。

定义了向量范数 $||\cdot ||$ 的线性空间 $V^n$，称为赋范线性空间。

3.2 向量范数的性质

设 $||\mathbf{x}|{|}_a,||\mathbf{x}|{|}_b$ 是 $n$ 维线性空间 $V^n$ 上定义的任意两种范数，若存在两个与 $\mathbf{x}$ 无关的正常数 $c_1,c_2$，使得
$$c_1||\mathbf{x}|{|}_b\le ||\mathbf{x}|{|}_a\le c_2||\mathbf{x}|{|}_b$$
则称 $||\mathbf{x}|{|}_a$ 与 $||\mathbf{x}|{|}_b$ 是等价的。

定理：有限维线性空间中任意两种范数都是等价的。

3.3 矩阵范数的定义与性质

设 $\mathbf{A}\in {\mathbb{C}}^{m\times n}$，按某一法则在 ${\mathbb{C}}^{m\times n}$ 上规定 $\mathbf{A}$ 的一个实值函数，记作 $||\mathbf{A}||$，它满足以下4个条件：

1. 非负性：$||\mathbf{x}||\ge 0$；当且仅当 $\mathbf{A}=0$ 时，等号成立；
2. 齐次性：$||k\mathbf{A}||=|k|||\mathbf{A}||,\forall k\in \mathbb{C}$；
3. 三角不等式：$||\mathbf{A}+\mathbf{B}||\le ||\mathbf{A}||+||\mathbf{B}||,\forall \mathbf{A},\mathbf{B}\in {\mathbb{C}}^{m\times n}$；
4. 次乘性：当矩阵乘积 $\mathbf{A}\mathbf{B}$ 有意义时，若有$$||\mathbf{A}\mathbf{B}||\le ||\mathbf{A}||||\mathbf{B}||$$.

则称 $||\mathbf{A}||$ 为矩阵范数。

3.4 算子范数

设 $\mathbf{A}\in {\mathbb{C}}^{m\times n}，\mathbf{x}\in {\mathbb{C}}^n$，如果取定的向量范数 $||\mathbf{x}||$ 和矩阵范数 $||\mathbf{A}||$ 满足
$$||\mathbf{A}\mathbf{x}||\le ||\mathbf{A}||\cdot ||\mathbf{x}||$$
则称矩阵范数 $||\mathbf{A}||$ 与向量范数 $||\mathbf{x}||$ 是相容的。
设 $\mathbf{A}\in {\mathbb{C}}^{m\times n}，\mathbf{x}=(x_1,x_2.\cdots ,x_n{)}^{\text{T}}\in {\mathbb{C}}^n$，且在 ${\mathbb{C}}^n$ 中已规定了向量的范数（即 ${\mathbb{C}}^n$ 是 $n$ 维赋范线性空间）。定义
$$||\mathbf{A}||=\underset{||\mathbf{x}||\ne 0}{\sup }\frac{||\mathbf{A}\mathbf{x}||}{||\mathbf{x}||}=\underset{||\mathbf{x}||=1}{\max }||\mathbf{A}\mathbf{x}||$$
则上式定义了一个矩阵范数，称为由向量范数诱导矩阵范数或算子范数。

常用的矩阵范数

设 $\mathbf{A}=(a_{ij})\in {\mathbb{C}}^{m\times n}，\mathbf{x}=(x_1,x_2.\cdots ,x_n{)}^{\text{T}}\in {\mathbb{C}}^n$，则从属于向量 $\mathbf{x}$ 的3种范数 $||\mathbf{x}|{|}_1，||\mathbf{x}|{|}_2，||\mathbf{x}|{|}_{\infty }$ 的算子范数依次是

1. $||\mathbf{A}|{|}_1=\underset{j}{\max }\sum _{i=1}^m|a_{ij}|$（称为列范数）；
2. $||\mathbf{A}|{|}_2=\sqrt{{\lambda }_{\max }({\mathbf{A}}^{\text{H}}\mathbf{A})}$（称为谱范数），其中 ${\lambda }_{\max }({\mathbf{A}}^{\text{H}}\mathbf{A})$ 是矩阵 ${\mathbf{A}}^{\text{H}}\mathbf{A}$ 特征值绝对值的最大值；
3. $||\mathbf{A}|{|}_{\infty }=\underset{i}{\max }\sum _{j=1}^n|a_{ij}|$（称为行范数）

3.5 谱范数的性质和谱半径

设 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$ ，${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$ 为 $\mathbf{A}$ 的特征值，我们称
$$\rho (\mathbf{A})=\underset{i}{\max }|{\lambda }_i|$$
为 $\mathbf{A}$ 的谱半径。

特征值上界定理：对任意矩阵 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$，总有
$$\rho (\mathbf{A})\le ||\mathbf{A}||$$
即 $\mathbf{A}$ 的谱半径不会超过 $\mathbf{A}$ 的任何一种范数。

定理：
如果 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$，且 $\mathbf{A}$ 为正规矩阵，则
$$\rho (\mathbf{A})=||\mathbf{A}|{|}_2$$

定理：
设 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$，若 $||\mathbf{A}||<1$，则 $\mathbf{I}-\mathbf{A}$ 为非奇异矩阵，且
$$||(\mathbf{I}-\mathbf{A}{)}^{-1}||\le \frac{1}{1-||\mathbf{A}||}$$

3.6 摄动分析与矩阵的条件数

矩阵的条件数

设 $\mathbf{A}$ 是非奇异矩阵，称数 $\text{cond}(\mathbf{A})=||{\mathbf{A}}^{-1}|{|}_p||\mathbf{A}|{|}_p$ ($p=1,2$ 或 $\infty$) 为矩阵 $\mathbf{A}$ 的条件数。

常用的条件数：

1. $\text{cond}(\mathbf{A}{)}_{\infty }=||{\mathbf{A}}^{-1}|{|}_{\infty }||\mathbf{A}|{|}_{\infty }$;
2. $$\begin{array}{rl}\text{cond}(\mathbf{A}{)}_2& =||{\mathbf{A}}^{-1}|{|}_2||\mathbf{A}|{|}_2\\ & =\sqrt{\frac{{\lambda }_{\max }({\mathbf{A}}^{\text{H}}\mathbf{A})}{{\lambda }_{\min }({\mathbf{A}}^{\text{H}}\mathbf{A}))}}\end{array}$$

当 $\mathbf{A}$ 是实对称矩阵时，
$$\text{cond}(\mathbf{A}{)}_2=\frac{\max |\lambda |}{\min |\lambda |}$$

第4讲 矩阵的特征值与奇异值分解

4.1 矩阵的特征值

$\text{tr}\mathbf{A}=\sum _{i=1}^n{\lambda }_i=\sum _{i=1}^n{a}_{ii}$
$\det (\mathbf{A})=\prod _{i=1}^n{\lambda }_i$
设 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$ 是 $\mathbf{A}$ 的相异特征值，则与其相应的特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_r$ 必线性无关。

设 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$，${\mathbf{A}}^{\text{T}}$ 为 $\mathbf{A}$ 的转置矩阵，则：

1. $\mathbf{A}$ 与 ${\mathbf{A}}^{\text{T}}$ 有相同的特征值；
2. 设 $a,b$ 是 $\mathbf{A}$ 的特征值，且 $a\ne b$，$\mathbf{x}$ 是 $\mathbf{A}$ 的对应于特征 $a$ 的特征向量，$\mathbf{y}$ 是 ${\mathbf{A}}^{\text{T}}$ 的对应于特征 $b$ 的特征向量，则 $\mathbf{x},\mathbf{y}$ 正交。

设矩阵 $\mathbf{A}$ 有 $n$ 个不同的特征值 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，且 $\mathbf{A}$ 对应于特征值的特征向量分别为 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$，${\mathbf{A}}^{\text{T}}$ 的特征向量为 ${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_n$，则

1. $({\mathbf{x}}_i,{\mathbf{y}}_i)\ne 0$;
2. 任何 $\mathbf{x}\in {\mathbb{R}}^n$ 可以表示成 $\mathbf{x}=k_1{\mathbf{x}}_1+k_2{\mathbf{x}}_2+\cdots +k_n{\mathbf{x}}_n$，其中 $k_i=({\mathbf{y}}_i,\mathbf{x})/({\mathbf{y}}_i,{\mathbf{x}}_i)$

设 $\mathbf{A}\in {\mathbb{R}}^{m\times n},\mathbf{B}\in {\mathbb{R}}^{n\times m}，\mathbf{A}\mathbf{B}$ 与 $\mathbf{B}\mathbf{A}$ 的特征多项式分别是 $f_{\mathbf{A}\mathbf{B}}(\lambda ),f_{\mathbf{B}\mathbf{A}}(\lambda )$，则有
$$f_{\mathbf{A}\mathbf{B}}(\lambda )=(-\lambda {)}^{m-n}{f}_{\mathbf{B}\mathbf{A}}(\lambda )$$
方阵 $\mathbf{A}\mathbf{B}$ 与 $\mathbf{B}\mathbf{A}$ 有相同的非零特征值，不同的是零特征值的重数。

设 $\mathbf{A},\mathbf{B}$ 都是 $n$ 阶方阵，若存在可逆矩阵 $\mathbf{P}$，使得 ${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{B}$，则称 $\mathbf{A}$ 与 $\mathbf{B}$ 相似，记为 $\mathbf{A}\sim \mathbf{B}$，称这种变换为相似变换。

相似矩阵有以下性质：

1. 若 $\mathbf{A}\sim \mathbf{B}$，则它们有相同的特征值；
2. 若 $\mathbf{A}\sim \mathbf{B}$，则 $\text{tr}\mathbf{A}=\text{tr}\mathbf{B},|\mathbf{A}|=|\mathbf{B}|$;
3. 若 $\mathbf{A}$ 与一个对角矩阵 $\mathbf{D}=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]$ 相似，则称其为可对角矩阵，且 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$ 是 $\mathbf{A}$ 的 $n$ 个特征值;
4. $n$ 阶矩阵为可对角矩阵的充要条件是有 $n$ 个线性无关的特征向量。

4.2 实对称矩阵的特征值问题

当 $\mathbf{A}$ 为实对称矩阵，它的特征值有一些特殊的性质：

1. 实对称矩阵的所有特征值都是实数，所以对每一个特征值都存在实的特征向量；
2. $\mathbf{A}$ 的相异特征值对应的特征向量正交；
3. 一定存在 $n$ 阶正交矩阵 $P$ 和对角矩阵 $\mathbf{D}=\text{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，使得 ${\mathbf{P}}^{\text{T}}\mathbf{A}\mathbf{P}=\mathbf{D}$.

设 $\mathbf{P}=[{\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_n]$，由 ${\mathbf{P}}^{\text{T}}\mathbf{A}\mathbf{P}=\mathbf{D}$ 得
$$\begin{array}{rl}& \mathbf{A}=\mathbf{P}\mathbf{D}{\mathbf{P}}^{\text{T}}\\ ⟹& \mathbf{A}={\lambda }_1{\mathbf{p}}_1{\mathbf{p}}_1^{\text{T}}+{\lambda }_2{\mathbf{p}}_2{\mathbf{p}}_2^{\text{T}}+\cdots +{\lambda }_n{\mathbf{p}}_n{\mathbf{p}}_n^{\text{T}}\end{array}$$
这称为 $实对称矩阵的谱分解式$.
矩阵的特征值常称为矩阵的 $谱点$.

Rayleigh商
设 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 是实对称矩阵，$\mathbf{x}\in {\mathbb{R}}^n$，我们称
$$R(\mathbf{x})=\frac{{\mathbf{x}}^{\text{T}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\text{T}}\mathbf{x}}$$
称为实对称矩阵 $\mathbf{A}$ 的 Rayleigh商。
$\max R(\mathbf{x})=\mathbf{A}的最大特征值，\min R(\mathbf{x})=\mathbf{A}的最小特征值$

矩阵的奇异值分解

就是任意一个 $m\times n$ 矩阵将 $n$ 维空间的单位球面映射成 $m$ 维空间的一个超球面。

正交对角分解定理：
设 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 为非奇异矩阵，则存在正交矩阵 $\mathbf{P}$ 和 $\mathbf{Q}$，使得
$${\mathbf{P}}^{\text{T}}\mathbf{A}\mathbf{Q}=\text{diag}({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n){\alpha }_i>0$$
引理：

1. 设 $\mathbf{A}\in {\mathbb{R}}_r^{m\times n}(r>0)$，则 ${\mathbf{A}}^{\text{T}}\mathbf{A}$ 是实对称正定矩阵，特征值是非负数；
2. $\text{rank}({\mathbf{A}}^{\text{T}}\mathbf{A})=\text{rank}(\mathbf{A})$;
3. 设 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$，则 $\mathbf{A}=0$ 的充要条件是 ${\mathbf{A}}^{\text{T}}\mathbf{A}=0$.

设 $\mathbf{A}$ 是秩为 $r$ 的 $m\times n$ 实矩阵，则 ${\mathbf{A}}^{\text{T}}\mathbf{A}$ 有 $r$ 个大于零的特征值为
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$$
则称 ${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,r)$ 为 $\mathbf{A}$ 的奇异值。

实矩阵的奇异值分解：
令 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$，则存在正交矩阵 $\mathbf{U}\in {\mathbb{R}}^{m\times m}$ 和 $\mathbf{V}\in {\mathbb{R}}^{n\times n}$ 使得
$$\mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^{\text{T}}$$
其中 $\Sigma ={\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]}_{m\times n}$，且 ${\Sigma }_1=\text{diag}({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r)$，且
$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0,r=\text{rank}(\mathbf{A})$$
数值 ${\sigma }_i$ 称为 $\mathbf{A}$ 的奇异值。

第5讲 投影分析

投影定理：
设 $\mathbf{H}$ 是向量空间，而 $\mathbf{M}$ 是 $\mathbf{H}$ 内的 $n$ 维子空间。若对于 $\mathbf{H}$ 中的向量 $\mathbf{x}$，在子空间 $\mathbf{M}$ 内有一向量 $\hat{\mathbf{x}}$，使得 $\mathbf{x}-\hat{\mathbf{x}}$ 与 $\mathbf{M}$ 中的每一个向量 $\mathbf{y}$ 都满足正交条件，即
$$(\mathbf{x}-\hat{\mathbf{x}},\mathbf{y})=0,\forall \mathbf{y}\in \mathbf{M}$$
则不等式 $||\mathbf{x}-\hat{\mathbf{x}}|{|}_2\le ||\mathbf{x}-\mathbf{y}|{|}_2$ 对于所有向量 $\mathbf{y}\in \mathbf{M}$ 成立，并且等号仅当 $\mathbf{y}=\hat{\mathbf{x}}$ 时成立。

即 $\hat{\mathbf{x}}\in M$ 是 $\mathbf{x}\in \mathbf{H}$ 在 $\mathbf{M}$ 中的投影的充要条件是 $\mathbf{x}-\hat{\mathbf{x}}$ 与 $\mathbf{M}$ 中所有向量都正交，并且向量 $\mathbf{x}$ 到有限维子空间 $\mathbf{M}$ 的投影 $\hat{\mathbf{x}}$ 是惟一的。

投影算子的意义和性质
设 ${\mathbb{R}}^n=\mathbf{W}\oplus \mathbf{V}$ 为空间 ${\mathbb{R}}^n$ 的一种分解，则任意向量 $\mathbf{x}\in {\mathbb{R}}^n$ 都可以惟一地表示成
$$\mathbf{x}=\mathbf{w}+\mathbf{v},\mathbf{w}\in \mathbf{W},\mathbf{v}\in \mathbf{V}$$
今规定算子 $\mathcal{A}$
$$\mathcal{A}(\mathbf{x})=\mathbf{w}$$
我们把从 ${\mathbb{R}}^n$ 到子空间 $\mathbf{W}$ 的这种映射称为 ${\mathbb{R}}^n$ 沿子空间 $\mathbf{V}$ 到子空间 $\mathbf{W}$ 上的投影，并称 $\mathcal{A}$ 为投影算子。