矩阵中的一些基本概念

矩阵中的概念还是很多的，时间一长很容易忘记，这里做一个摘录，已备不时之需。

线性空间

1. 生成子空间

$设\bf {x_1,x_2,\cdots,x_m}$是数域$K$上的线性空间$V$的一组向量，其所有可能的线性组合的集合

$$V_1={k_1\mathbf {x_1}+\cdots+k_m\mathbf x_m },(k_i\in K,i=1,2\cdots,m)$$
容易验证$V_1是V的一个线性子空间，记为$ $$L(\mathbf x_1,\mathbf x_2,\cdots,\mathbf x_m)={k_1\mathbf x_1+\cdots+k_m\mathbf x_m}$$

2. 矩阵的值域

设$A=(a_{ij}\in R^{m\times n}),以\mathbf a_i(i=1,2,\cdots,n)表示A的第i个列向量，\\称子空间L(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)为矩阵A的值域（列空间），记为$

$$R(A)=L(\bf a_1,a_2,\cdots,a_n)$$ $显然有R(A)\in R^m,故rank(A)=dimR(A)，R(A)还可以这样生成：\\令\mathbf x=(\xi_1,\xi_2,\cdots,\xi_n)^T\in R^n,则：$ $$A\mathbf x=(\bf a_1,a_2,\cdots,a_n)(\xi_1,\xi_2,\cdots,\xi_n)^T$$ $$=\xi_1\mathbf x_1+\cdots+\xi_n\mathbf x_n$$
即$A\mathbf x为A的列向量线性组合，所以有$

---

$$R(A)=\{ A\mathbf x|\mathbf x\in R^n \}$$
同理可定义$A^T$的值域（行空间）
$$R(A)=\{ A^T\mathbf x|\mathbf x\in R^m \}$$

3 核空间

设$A=(a_{ij})\in R^{m\times n}$,称集合$\{\mathbf x|A\mathbf x=0\}$为$A$的核空间（零空间），记为$N(A)$,即

$$N(A)=\{\mathbf x|A\mathbf x=0\}$$ 显然$N(A)$是齐次线性方程组$A\mathbf x=0$的解空间，$A$的核空间的维度称为$A$的零度，记为
$n(A)$,即$n(A)=dimN(A)$,则很容易有下列公式：
$$rankA+n(A)=n$$
$$n(A)-n(A^T)=n-m$$
$$rankA^T+N(A^T)=m$$

4 正交

定理一：对于欧式空间$V^n$的任一基$\bf x_1,x_2,\cdots,x_n$都可以找到一个标准正交基$\bf y_1,y_2,\cdots,y_n$.换言之，任意非欧式空间都有正交基和标准正交基。
该定理可用Schmidt正交化方法构造性证明。

---

正交矩阵：实方阵$Q$满足$Q^TQ=I,或Q^T=Q$则称Q为正交矩阵
显然$Q$是正交矩阵的充要条件是，它的列向量是两两正交的单位向量，正交向量是非奇异的，从$det(Q^TQ)=det(Q^T)\times det(Q)=(det(Q))^2=1$得$det(Q)=\pm 1$可知。自然正交矩阵的逆矩阵也是正交矩阵，两个正交矩阵的乘积仍是正交矩阵。
正交矩阵在标准正交基下的矩阵是正交矩阵，但是在别的基下的矩阵可能是正交矩阵，也可能不是

---

5对称性与对称矩阵

对称变换：设$T$是欧式空间$V$的一个线性变换，且对$V$中任意两个向量$x,y$都有

$$(T\mathbf x,\mathbf y)=(\mathbf x,T\mathbf y)$$
成立，则$T$为$V$中的一个对称变换。
定理2：欧式空间的线性变换是实对称变换的充要条件是，它对于标准正交基矩阵是实对称矩阵。
定理3：实对称矩阵的特征值都是实数
下面给出简要证明：
设$A$是实对称矩阵，$\lambda$是它的特征值，$x$是对应的特征向量，则有：
$$Ax=\lambda x$$
两边取共轭有
$$\overline{Ax}=\overline{\lambda x}$$
由共轭复数的性质有：
$$\bar A\overline x=\bar\lambda\bar x$$
取转置，由$\bar A=A,A^T=A$,得
$$\bar\lambda\bar x^T=\bar x^TA$$
等式两边右乘$x$得
$$\bar\lambda\bar x^T x=\bar x^T Ax=\lambda \bar x^T x$$
$$(\lambda-\bar\lambda)\bar x^Tx=0$$
而$x^Tx\neq0$,故$\lambda=\bar\lambda,\lambda$是实数。

---

定理4：实对称矩阵不同特征值所对应的特征向量是正交的
简要证明如下：
设$\lambda_1x_1=Ax_1,\lambda_2x_2=Ax_2$
由于

$$\lambda_1x_1^T=x_1^TA$$
故 $$\lambda_1x_1^Tx_2=x_1^TAx_2=\lambda_2x_1^Tx_2$$
即 $$(\lambda_1-\lambda_2)x_1^Tx_2=0$$
但是$\lambda_1\neq\lambda_2$故$(x_1,x_2)=0$

---

6 酉空间

酉空间实际上是实数域$R$上线性空间的扩展，和欧式空间理论很相近，有一套平行的理论。
酉变换：酉空间$V$中的线性变换$T$,若满足

$$(x,x)=(Tx,Tx),x\in V$$
则称$T$为$V$的酉变换。
酉矩阵：酉变换在酉空间的标准正交基下的矩阵$A$是酉矩阵，即$A$满足：

$$A^HA=AA^H=I$$
Hermite变换：酉空间$V$中的线性变换$T$,若满足
$$(Tx,y)=(x,Ty),x,y\in V$$
则称$T$为$V$的Hermite变换。
Hermite矩阵： Hermite变换在酉空间的标准正交基下的矩阵$A$是Hermite矩阵，即满足
$$A^H=A$$
酉矩阵对应于实数域空间中的正交矩阵，Hermite矩阵对应于实数域空间中的对称矩阵

---

定理5：

1. :设$A\in C^{n\times n}$的特征值为$\lambda_1,\lambda_2,\cdots,\lambda_n$,则存在酉矩阵$P$,使得
   $$P^{-1}AP=P^HAP=\left[ \begin{matrix} \lambda _{1}& \ast \ldots & \ast \\ & \lambda _{2}\ddots & \vdots \\ & \ddots & \ast \\ & & \lambda _{n}\end{matrix} \right]$$

---

2 设$A\in R^{n\times n}$的特征值为$\lambda_1,\lambda_2,\cdots,\lambda_n$,且$\lambda_i\in R(i=1,2,\cdots,n)$则存在正交矩阵$Q$,使得

$$Q^{-1}AQ=Q^TAQ=\left[ \begin{matrix} \lambda _{1}& \ast \ldots & \ast \\ & \lambda _{2}\ddots & \vdots \\ & \ddots & \ast \\ & & \lambda _{n}\end{matrix} \right]$$

---

证明过程略微繁琐，这里就不给出了，一般用数学归纳法证明。
正规矩阵：设$A\in C^{n\times n}$，且等式

$$A^HA=AA^H$$
成立，则称A为正规矩阵。那么上面的定理可以进一步的加强
定理6：

1. 设$A\in C^{n\times n}$，则$A$酉相似与对角矩阵的充要条件是$A$为正规矩阵；
2. 设$A\in R^{n\times n}$，且A的特征值都是实数，则$A$正交相似于对角矩阵的充要条件是$A$为正规矩阵
   上面两条定理给出了一个矩阵可以转化为对角矩阵的充要条件

---

范数篇

1. 向量范数

向量范数的等价性：设$\|x\|_\alpha$和$\|x\|_\beta$为有限维线性空间$V$的任意两种向量范数，则存在两个与向量$x$无关的正常数$c_1$和$c_2$,使得不等式

$$c_1\|x\|_\beta\le\|x\|_\alpha\le c_2\|x\|,(\forall x\in V)$$
证明略
特殊情况有 $$\|x\|_\infty\le\|x\|_1\le n\|x\|$$
$$\|x\|_\infty\le\|x\|_2\le\sqrt n\|x\|_\infty$$

1. 矩阵范数
   定义：设$A\in C^{m\times n}$,定义一个实值函数$\|A\|$，他满足以下三个条件：
   1.非负性：当$A\neq O$时，$\|A\|>0$;当$A=O$时，$\|A\|=0$
   2.齐次性：$\|\alpha A\|=|\alpha|\|A\| ,(\alpha\in C)$
   3.三角不等式：$\|A+B\|\le\|A\|+\|B\|，（B\in C）$
   则称$\|A\|$为$A$的广义矩阵范数。
   若对$C^{m\times n},C^{n\times l},C^{l\times m}$上的同类广义矩阵，还应满足以下一个条件：
   4.相容性： $\|AB\|\le\|A\|\|B\|$

---

定理：已知$C^m和C^n$上的同类范数$\|\cdot\|,$设$A\in C^{m\times n}$,则函数

$$\|A\|=\max_{\|x\|=1}\|Ax\|$$ 是$C^{m\times n}$上的矩阵范数，且与已知向量范数相容。
下面是三种常用的范数
设$A=(a_{ij})_{m\times n}\in C^{m\times n},x=(\xi_1,\xi_2,\cdots,\xi_n)^T\in C^n$,则从属于向量$x$的三种范数$\|x\|_1,\|x\|_2,\|x\|_\infty$的矩阵范数依次是：

• $$\|A\|_1=\max_j\sum_{i=1}^m|a_{ij}|$$
• $$\|A\|_2=\sqrt {\lambda_1},\lambda_1为A^HA的最大特征值；$$
• $$\|A\|_\infty=\max_i\sum_{j=1}^n|a_{ij}|$$
  证明：
  （1）设$\|x\|=1$,则
  $$\|Ax\|=\sum_{i=1}^m\left|\sum_{j=1}^na_{ij}\xi_j\right|\le\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|\xi_j|=\sum_{j=1}^n|\xi_j|(\sum_{i=1}^m|a_{ij}|)$$
  $$\le(\max_j\sum_{i=1}^m|a_{ij}|)\sum_{j=1}^n|\xi_j|=\max_j\sum_{i=1}^m|a_{ij}|$$
  因此有
  $$\|A\|_1=\max_{\|x\|_1=1}\|Ax\|_1\le\max_j\sum_{i=1}^m|a_{ij}|$$
  选取$k$使得
  $$\sum_{i=1}^m|a_{ik}|=\max_j\sum_{i=1}^m|a_{ij}|$$
  令$x_0$为第$k$个单位坐标向量，则有
  $$Ax_0=(A_{1k},a_{2k},\cdots,a_{mk})^T$$
  $$\|A\|_1=\max_{\|x\|_1=1}\|Ax\|_1\ge\|Ax_0\|=\sum_{i=1}^m|a_{ik}|=\max_j\sum_{i=1}^m|a_{ij}|$$
  得证
  (2) 因为$A^HA$是Hermite矩阵，且由
  $$x^H(A^HA)x=(Ax)^H(Ax)=\|Ax\|_2^2\ge 0$$
  因此$A^HA$是半正定的，从而它的特征值为非负，设为
  设$\lambda$为$A^HA$的一个特征值，特征向量为$x$,且$\|x\|_2=1$则
  $$\|Ax\|_2^2=(x,A^HAx)=(x,\lambda x)=\lambda\|x\|_2^2\le\lambda_1$$
  所以有 $$\|A\|_2=\max_{\|x\|_2=1}\|Ax\|_2\le\sqrt{\lambda_1}$$
  显然当$x$为$\lambda_1$的特征向量是取等号。
  （3）证明类似于上面，过程略.

---

谱半径：设$A\in C^{n\times n}$的特征值为$\lambda_1,\lambda_2,\cdots,\lambda_n$,称

$$\rho(A)=\max_i|\lambda_i|$$

定理：设$A\in C^{n\times n}$,则对$C^{n\times n}$上的任何一种矩阵范数$\|\cdot\|$，都有

$$\rho(A)\le\|A\|$$
证明过程很简单，设 $$Ax=\lambda x$$ ,则 $$|\lambda|\|x\|_v=\|\lambda x\|_v=\|Ax\|_v\le\|A\|\|x\|_v$$ ,因为$x\neq 0$，所以$|\lambda|\le\|A\|.$
当矩阵$A$是Hermite矩阵时， $$\|A\|_2=\rho(A)$$
因为: $$\|A\|_2=\sqrt{\max_i|\lambda_i(A^HA)|}=\sqrt{\rho(A^HA)}=\rho^\frac 1 2(A^HA)$$
因为$A^H=A$
$$\|A\|_2^2=\rho(A^HA)=\rho(A^2)=\rho^2(A)$$
固有$\|A\|_2=\rho(A)$
定理：设$A\in C^{n\times n}$,对于任意的正数$\delta$,存在某种矩阵范数$\|\cdot\|_M$,使得
$$\|A\|_M\le\rho(A)+\delta$$
证明略。

---

1. 矩阵的非奇异性条件
   定理：设$A\in C^{n\times n}$,且对$C^{n\times n}$上的某种矩阵范数$\|\cdot\|$,有$\|A\|\le 1$,则矩阵$I-A$非奇异，且有 $$\|(I-A)^{-1}\|\le\frac{\|I\|}{1-\|A\|}$$
   证明：
   若$det(I-A)=0$,则其次线性方程组$(I-A)x=0$有非零解$x_0$,则有
   $$(I-A)x_0=0$$
   则 $$\|x_0\|_V=\|Ax_0\|_v\le\|A\|\|x_0\|_V<\|x_0\|_V$$
   出现矛盾，故$det(I-A)\neq 0$，矩阵$I-A$非奇异.
   再由$(I-A)^{-1}(I-A)=I$，可得
   $$(I-A)^{-1}=I+A(I-A)^{-1}$$
   于是 $$\|(I-A)^{-1}\|\le\|I\|+\|A\|\|(I-A)^{-1}\|$$
   即 $$\|(I-A)^{-1}\|\le\frac{\|I\|}{1-\|A\|}$$
   当$A$很小时，$(I-A)^{-1}$与单位矩阵的逼近成都由下面定理给出
   定理：设$A\in C^{n\times n}$,且对$C^{n\times n}$上的某种矩阵范数$\|\cdot\|$,有$\|A\|\le 1$，则
   $$\|I-(I-A)^{-1}\|\le\frac{\|A\|}{1-\|A\|}$$
   证明：因为$\|A\|\le 1$,s所以$(I-A)^{-1}$存在，由
   $(I-A)-I=-A$右乘$(I-A)^{-1}$得
   $$I-(I-A)^{-1}=-A(I-A)^{-1}$$
   两边取范数有
   $$\|I-(I-A)^{-1}\|=\|-A(I-A)^{-1}\|\le\frac{\|A\|}{1-\|A\|}$$
   推论：设$A\in C^{n\times n}$非奇异，$B\in C^{n\times n}$，且对$C^{n\times n}$上的某种矩阵范数$\|\cdot\|$，有$\|A^{-1}B\|<1$,则$A+B$非奇异
   证明很简单，由于$\|A^{-1}B\|<1$，所以$\|-A^{-1}B\|<1$，再用上面的定理的证。

---

矩阵分析

1. 矩阵收敛
   定义：设$A$为方阵，且当$k\to\infty$时，有$A^k\to O$ ,则称$A$为收敛矩阵
   定理：$A^k\to O(k\to\infty)$的充要条件是$\rho(A)<1$
   证明:充分性由前面的定理有 $$\|A\|_M\le\rho(A)+\delta$$
   对于$\delta=\frac 1 2[1-\rho(A)]$则
   $$\|A\|\le\frac 1 2[1+\rho(A)]<1$$
   于是$\|A^k\|_M\le\|A\|_M^k\to 0$,故$A^k\to O$
   必要性：已知$A^k\to O$，设$\lambda$是A的任一特征值，对应的特征向量为$x$，则有$Ax=\lambda x(x\neq \mathbf0)$,因为
   $$\lambda^kx=A^kx\to \mathbf 0$$ 所以$\lambda^k\to 0$，从而$|\lambda|<1$故$\rho(A)<1$

---

推论：$A^k\to \mathbf O(k\to 0)$的充分条件是只要有一种矩阵范数$\|\cdot\|$,s使$\|A\|<1$
证明很简单，$\rho(A)\le\|A\|<1$，由前面的定理立马得出结果。

1. 矩阵级数
   定义：