线性代数笔记14：范数与矩阵条件数

本文介绍向量范数、矩阵范数以及矩阵条件数。

向量范数

1. 

2. 对于实向量$x$，下面给出几种常见的范数：

   • 1-范数：

     $$||x||_1 = \sum _{i = 1}^n |x_i|$$

   • 2-范数：

     $$||x||_2 = (\sum _{i = 1}^n |x_i|^2)^{\frac{1}{2}} = (x^Tx)^{\frac{1}{2}}$$

   • $\infty$-范数：

     $$||x||_{\infty} = max_{1\le i \le n} |x_i|$$

   • 由此我们可以定义p-范数为：

     $$||x||_2 = (\sum _{i = 1}^n |x_i|^p)^{\frac{1}{p}},p\ge1$$

矩阵范数

1. 

2. 在以上基础上，实际使用的矩阵范数还满足一下相容性条件：

   $$\forall A\in R^{n\times n},x\in R^n ,||Ax|| \le ||A|| \space||x||$$

3. 定义矩阵的算子范数为，这衡量了线性变换中对$x$伸缩的最大倍数。

   $$||A||_v = \max\limits_{x\ne 0} \frac {||Ax||_v}{||x||_v}$$

4. 矩阵$A$的算子范数为:

   • 1-范数：

     $$||A||_1 = \max _{1\le j\le n}\sum_{i=1}^n |a_{ij}|$$

   • 2-范数：

     $$||A||_2 = \sqrt{\lambda_{\max}(A^TA)} ，表示A^TA的最大特征值$$

   • $\infty$-范数：

     $$||A||_{\infty} = max_{1\le i \le n} \sum_{j = 1}^n|a_{ij}|$$

矩阵条件数

矩阵条件数是衡量非奇异矩阵的敏感程度，也就是方程$Ax = b$中$\Delta A、\Delta b$的变化对矩阵的影响程度；我们不加证明的说明一下几个定理。

1. 条件数定义：

   $$cond = \frac{||\Delta x||/||x||}{||\Delta b||/||b||}$$

2. 设$A$为非奇异矩阵，则矩阵的条件数为：

   $$cond (A)_v = ||A||_v ||A^{-1}||=\max\limits _{x \ne 0} \frac{||Ax||}{||x||} / \min\limits _{x \ne 0} \frac {||Ax||}{||x||}$$

   矩阵的条件数为误差传递的上限，可衡量矩阵的敏感性

3. 奇异矩阵的条件数为无穷大，因此$cond(A)$越大，越接近于奇异矩阵。

4. 

矩阵的谱半径

1. 设矩阵$A\in R^{n\times n}$的特征值为$\lambda_i$，称$\rho$为$A$的谱半径：

   $$\rho (A) = \max\limits_{1\le i\le n}|\lambda_i|$$

2. 谱半径的大小不超过任何一种算子范数。