矩阵范数

矩阵范数

设 $\mathbb F = \mathbb R$ 或 $\mathbb C,$ 如果 $\mathbb F^{n \times n}$ 上的一个 实函数 $\Vert \cdot\Vert$ 满足： $\forall A, B \in \mathbb F^{n \times n},$

$$\Vert A \Vert \ge 0 \text{且} \Vert A \Vert = 0 \Leftrightarrow A = \mathbf {0} \tag 1$$
$$\forall k \in \mathbb F, \Vert k A \Vert = \vert k \vert \Vert A \Vert \tag 2$$
$\Vert A + B \Vert \le \Vert A \Vert + \Vert B \Vert \tag 3$
$\Vert A B \Vert \le \Vert A \Vert \Vert B \Vert \tag 4$
则称 $\Vert \cdot \Vert$ 是 $\mathbb F^{n \times n}$ 上的一个矩阵范数。

例

$\Vert A \Vert _{F} = {\left ( \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \vert a_{ij} \vert ^2\right )} ^{1 / 2} = \sqrt {\operatorname{tr} (A^H A)}$
$\Vert \cdot \Vert _{F}$ 是一种矩阵范数。

证明

由于 $\Vert \cdot \Vert _{F}$ 也是向量范数，因此满足（1），（2），（3）。

$\left \vert \sum \limits_{k = 1} ^{n} a_{ik}b_{kj} \right \vert \le \sum \limits_{k = 1} ^{n} \left \vert a_{ik} b_{kj} \right \vert = \sum \limits_{k = 1} ^{n} \left \vert a_{ik} \right \vert \left \vert b_{kj} \right \vert \le \left[ \left ( \sum \limits_{k = 1} ^{n} \vert a_{ik} \vert ^2 \right ) \left ( \sum \limits_{k = 1} ^{n} \vert b_{kj} \vert ^2 \right ) \right ] ^{1 / 2}$
$\Rightarrow \left \vert \sum \limits_{k = 1} ^{n} a_{ik}b_{kj} \right \vert ^2 \le \left ( \sum \limits_{k = 1} ^{n} \left \vert a_{ik} \right \vert ^2 \right ) \left ( \sum \limits_{k = 1} ^{n} \left \vert b_{kj} \right \vert ^2 \right )$
$\Rightarrow \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \left \vert \sum \limits_{k = 1} ^{n} a_{ik}b_{kj} \right \vert ^2 \le \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \left [\left ( \sum \limits_{k = 1} ^{n} \vert a_{ik} \vert ^2 \right ) \left ( \sum \limits_{k = 1} ^{n} \vert b_{kj} \vert ^2 \right ) \right ] = \left ( \sum \limits_{i = 1} ^{n} \sum \limits_{k = 1} ^{n} \vert a_{ik} \vert ^2 \right ) \left ( \sum \limits_{j = 1} ^{n} \sum \limits_{k = 1} ^{n} \vert b_{kj} \vert ^2 \right )$
$= {\left ( \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \vert a_{ij} \vert ^2\right )} {\left ( \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \vert b_{ij} \vert ^2\right )}$
$\Rightarrow {\left ( \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \left \vert \sum \limits_{k = 1} ^{n} a_{ik}b_{kj} \right \vert ^2\right )} ^{1 / 2} \le {\left ( \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \vert a_{ij} \vert ^2\right )} ^{1 / 2} {\left ( \sum \limits_{i = 1} ^{n} \sum \limits_{j = 1} ^{n} \vert b_{ij} \vert ^2\right )} ^{1 / 2}$
$\Rightarrow \Vert A B \Vert _{F}\le \Vert A \Vert _{F} \Vert B \Vert _{F}$

定义

设 $\Vert \cdot \Vert$ 与 $\Vert \cdot \Vert_{\alpha}$ 分别是 $\mathbb F^{n \times n}$ 与 $\mathbb F^{n}$ 的矩阵范数和向量范数，若 $\forall A \in \mathbb F^{n \times n},\forall X \in \mathbb F^{n},$

$$\Vert A X \Vert_{\alpha} \le \Vert A \Vert \Vert X \Vert_{\alpha}$$
则称矩阵范数 $\Vert \cdot \Vert$ 与向量范数 $\Vert \cdot \Vert_{\alpha}$ 是相容的。

定理

1. 对于 $\mathbb F^{n \times n}$ 上的每种矩阵范数，都存在 $\mathbb F^{n}$ 上与它相容的向量范数。
2. $\mathbb F^{n \times n}$ 上的任意两种矩阵范数都是等价的。

常见的矩阵范数

$\Vert A \Vert _{1} = \max \limits_{1 \le j \le n} \sum \limits_{i = 1} ^{n} \vert a_{ij} \vert$
$\Vert A \Vert _{\infty} = \max \limits_{1 \le i \le n} \sum \limits_{j = 1} ^{n} \vert a_{ij} \vert$
$\Vert A \Vert _{2} = {\left ( \rho \left ( A ^H A \right )\right )} ^{1 / 2} = \max \limits_{\vert \lambda I -A^HA \vert = 0} \sqrt {\lambda}$
$\Vert A \Vert = \sup \limits_{0 \neq X \in \mathbb F^{n}} \dfrac {\Vert A X \Vert_{\alpha}} {\Vert X \Vert_{\alpha}}$

证明

首先证明存在 $\max \limits_{0 \neq X \in \mathbb F^{n}} \dfrac {\Vert A X \Vert_{\alpha}} {\Vert X \Vert_{\alpha}}$ ：
函数 $\varphi(Y) = \Vert A Y \Vert_{\alpha}$ 在有界闭集 $S = \{ Y \in \mathbb F^{n} : \Vert Y \Vert_{\alpha} = 1 \}$ 上连续，因此存在一点 $Y_0 \in S$ 使得 $\varphi(Y)$ 在 $S$ 有最大值。
于是 $\forall X \in \mathbb F^{n}, X \neq \vec 0,$ 令 $Y = \dfrac {X} {\Vert X \Vert_{\alpha}},$ 则 $\Vert Y \Vert_{\alpha} = 1,$ 因此 $Y \in S,$
于是 $\dfrac {\Vert A X \Vert_{\alpha}} {\Vert X \Vert_{\alpha}} = \Vert A Y \Vert_{\alpha} = \varphi(Y) \le \varphi(Y_0)$
因此 $\Vert A \Vert = \varphi(Y_0) = \max \limits_{Y \in S} \Vert A Y \Vert_{\alpha}$
接下来证明 $\Vert A \Vert$ 是矩阵范数：
1. 显然 $\Vert A \Vert \ge 0$
2. $\Vert A \Vert = 0 \Leftrightarrow \dfrac {\Vert A X \Vert_{\alpha}} {\Vert X \Vert_{\alpha}} = 0, \forall X \in \mathbb F^{n} , X \neq \vec 0 \Leftrightarrow AX = \vec 0, \forall X \in \mathbb F^{n} \Leftrightarrow A = \mathbf {0}$
3. $\Vert k A \Vert = \max \limits_{Y \in S} \Vert k A Y \Vert_{\alpha} = \vert k \vert \max \limits_{Y \in S} \Vert A Y \Vert_{\alpha} = \vert k \vert \Vert A \Vert$
4. $\Vert A + B \Vert = \max \limits_{Y \in S} \Vert (A + B) Y \Vert_{\alpha}$
$= \max \limits_{Y \in S} \Vert AY + BY \Vert_{\alpha}$
$\le \max \limits_{Y \in S} (\Vert AY \Vert_{\alpha} + \Vert BY \Vert_{\alpha} )$
$\le \max \limits_{Y \in S} \Vert A Y \Vert_{\alpha} + \max \limits_{Y \in S} \Vert B Y \Vert_{\alpha} = \Vert A \Vert + \Vert B \Vert$
5. $\Vert A B \Vert = \max \limits_{Y \in S} \Vert AB Y \Vert_{\alpha}$
设 $y_0 = \operatorname *{argmax} \limits_{Y \in S} \Vert AB Y \Vert_{\alpha}$
若 $B y_0 = \vec 0$ 则 $\Vert A B \Vert = \Vert AB y_0 \Vert_{\alpha} = 0 \le \Vert A \Vert \Vert B \Vert$
否则 $\Vert A B \Vert = \Vert AB y_0 \Vert_{\alpha} = \dfrac {\Vert AB y_0 \Vert_{\alpha}} {\Vert B y_0 \Vert_{\alpha}} \cdot \Vert B y_0 \Vert_{\alpha} \le \max \limits_{0 \neq X \in \mathbb F^{n}} \dfrac {\Vert A X \Vert_{\alpha}} {\Vert X \Vert_{\alpha}} \cdot \max \limits_{Y \in S} \Vert B Y \Vert_{\alpha} = \Vert A \Vert \Vert B \Vert$