矩阵论笔记（五）——向量范数与矩阵范数

范数是距离在向量和矩阵上的推广，在研究收敛性、判断矩阵非奇异等方面有广泛应用。

本节包括以下内容：

（1）向量范数；
（2）矩阵范数；
（3）从属范数；
（4）谱半径；
（5）矩阵的非奇异条件。

1 向量范数

从向量到实数的映射/函数。

定义

（1）条件：非负性、齐次性、三角不等式（$\|x+y\| \leq \|x\| + \|y\|$）；
（2）敛散：向量序列 $\{x^{(k)}\}$ 收敛，即每个分量在 $k\rightarrow \infty$ 时都有极限 $\xi_i$，否则发散。

性质

（1）连续型：可证 $\| \|x\| - \|y\| \| \leq \|x - y\|$，继而可证向量范数是其分量的连续函数；
（2）等价性：任意范数，存在 $c_1,c_2$ 使 $c_1 \|x\|_b \leq \|x\|_a \leq c_2 \|x\|_b$ 成立。有限维线性空间上的不同范数是等价的；
（3）等价性的意义：向量范数大小可能不同，但在考虑向量序列收敛问题时，却表现出明显的一致性（向量序列 $\{x^{(k)}\}$ 收敛到 $x$ 的充要条件是，对任意一种范数 序列 $\{\|x^{(k)} - x\|\}$ 收敛于零）。

常用范数

（1）p-范数（1-范数、2-范数等）：

$$\|x\|_p = (\sum_{i=1}^n |\xi_i|^p)^{1/p}$$ ，也称为 $l_p$ 范数，注意元素的绝对值（或模）；
（2）无穷范数： $$\|x\|_{\infty} = \lim_{p\rightarrow \infty} \|x\|_p = \max_i |\xi_i|$$ ；
（3）加权范数（椭圆范数）：$\|x\|_A = (x^\mathrm{T}Ax)^{1/2}$，其中 $A$ 是任意一个对称正定矩阵。注意 $P^\mathrm{T}AP = I \Rightarrow A = (P^\mathrm{T})^{-1}P^{-1} = B^\mathrm{T}B \Rightarrow \|x\|_A = \|B\|_2$。

2 矩阵范数

从（复）矩阵到实数的映射/函数。

定义

（1）广义矩阵范数：非负性、齐次性、三角不等式 $\|A+B\| \leq \|A\| + \|B\|$；
（2）矩阵范数：除以上三条件外，满足相容性 $\|AB\| \leq \|A\|\|B\|$（因此 $\|A^k\| \leq \|A\|^k$）。

性质

（1）判断收敛：$A^{(k)}\rightarrow A$ 的充要条件是 $\|A^{(k)} - A\|\rightarrow 0$；
（2）连续型：可证 $\| \|A\| - \|B\| \| \leq \|A - B\|$，继而可证连续性，即 $A^{(k)}\rightarrow A$ 可推出 $\|A^{(k)}\| \rightarrow \|A\|$（因此，当 $\|A\|\rightarrow 0$ 时，$A\rightarrow O$）；
（3）等价性：满足定义四条件的矩阵范数都是等价的；
（4）$F-$范数的性质：$\|PA\|_F = \|A\_F = \|AQ\|_F$，其中 $P,Q$ 为酉矩阵。

常用范数

（1）$\|\cdot\|_{m_1}$：所有元素绝对值（模）之和 $\sum_{i,j}\|a_{ij}\|$；
（2）$\|\cdot\|_{m_2}$：所有元素平方和开根号 $(\sum_{ij} \|a_{ij}\|^2)^{1/2}) = (\text{tr}(A^H A))^{1/2}$，等同于 $\|\cdot\|_F$；
（3）$\|\cdot\|_{m_{\infty}}$：所有元素绝对值（模）最大值乘以 $n$，$n \cdot \max_{i,j} \|a_{ij}\|$；
（4）$\|\cdot\|_1$：各列元素绝对值（模）之和最大者 $\max_j \sum_{i=1}^m \|a_{ij}\|$.
（5）$\|\cdot\|_2$：最大奇异值 $\sqrt{\lambda_1}$，其中 $\lambda_1$ 为 $A^H A$ 的最大特征值；
（6）$\|\cdot\|_{\infty}$：各行元素绝对值（模）之和最大者 $\max_i \sum_{j=1}^n \|a_{ij}\|.$.
（7）$\|\cdot\|_F$：同 $\|\cdot\|_{m_2}$，为 $(\sum_{ij} \|a_{ij}\|^2)^{1/2}) = (\text{tr}(A^H A))^{1/2}$.

3 矩阵与向量范数的相容性

定义

（1）矩阵与向量范数的相容性：若 $\|Ax\|_V \leq \|A\|_M \|x\|_V\ (\forall A\in C^{m\times n},\ \forall x\in C^n)$，则称矩阵范数 $\|\cdot\|_M$ 与向量范数 $\|\cdot\|_V$ 是相容的；
（2）构造相容范数：从属范数（由向量范数导出的矩阵范数，$\|A\| = \max_{\|x\|=1} \|Ax\|$，也可以等价定义为 $\|A\| = \max_x \frac{\|Ax\|}{\|x\|}$）。

定理

（1）F-范数：设 $P,\ Q$ 为酉矩阵，则 $\|PA\|_F = \|A\|_F = \|AQ\|_F$；
（2）F-范数：与 $A$ 酉（正交）相似的矩阵的 F-范数是相同的；
（3）构造相容范数：$\|A\| = \max_{\|x\|=1} \|Ax\|$（$\|\cdot\|$ 是同类向量范数）是矩阵范数，且与已知的向量范数相容（即 $A$ 的值域中向量范数最大者）。

常用范数

从属范数：

（1）列和范数：$\|A\|_1 = \max_{\|x\|_1=1} \|Ax\|_1 = \max_j \sum_{i=1}^m \|a_{ij}\|$（每列元素绝对值/模和最大者）；
（2）谱范数：$\|A\|_1 = \max_{\|x\|_1=2} \|Ax\|_2 = \sqrt{\lambda_1}$（其中 $\lambda_1$ 为 $A^H A$ 的最大特征值）；
（3）行和范数：$\|A\|_{\infty} = \max_{\|x\|_{\infty}=1} \|Ax\|_{\infty} = \max_i\sum_{j=1}^n \|a_{ij}\|$（每行元素绝对值/模和最大者）；
（4）Frobenius 范数（F-范数）：$\|A\|_F = (\sum_i\sum_j\|a_{ij}\|^2)^{1/2} = (\text{tr}(A^HA))^{1/2}$（所有元素平方和开根号）。

4 谱半径

定义

（1）谱半径：$\rho(A) = \max_i \|\lambda_i\|$（注意绝对值/模）；

定理

（1）对任意矩阵范数，有 $\rho(A) \leq \|A\|$（证：用 $\|\lambda x\|_V = \|Ax\|_M \leq \|A\| \|x\|$）；
（2）$\rho(A^k) = [\rho(A)]^k$（证：用 $P^{-1}AP = J$）；
（3）谱范数：$\|A\|_2 = \rho^{1/2}(A^H A) = \rho^{1/2} (AA^H)$。当 $A$ 是 Hermite 矩阵时，$\|A\|_2 = \rho(A)$（证：$\rho(A^H A) = \rho(A^2) = [\rho(A)]^2$）；
（4）对任意正数 $\epsilon$，一定存在某种矩阵范数使得 $\|A\|_M \leq \rho(A) + \epsilon$。

5 矩阵的非奇异条件

（1）$A \in C^{n\times n}$，若存在某种范数使 $\|A\| < 1$，则矩阵 $I-A$ 非奇异，且 $\|(I - A)^{-1}\| \leq \frac{\|I\|}{1 - \|A\|}$；
（2）$A \in C^{n\times n}$，若存在某种范数使 $\|A\| < 1$，则 $\|I - (I-A)^{-1}\| \leq \frac{\|A\|}{1 - \|A\|}$（$\|A\|$ 很小，即 $A \rightarrow O$ 时，$I-A$ 与 的逼近程度）。