数学基础---范数

转自：http://blog.youkuaiyun.com/alec1987/article/details/7488686

设X是数域K上线性空间，称║˙║为X上的范数(norm)。

范数的定义

　　若X是数域K上的线性空间，泛函 ║·║: X->R 满足：

　　1. 正定性：║x║≥0，且║x║=0 <=> x=0；

　　2. 正齐次性：║cx║=│c│║x║；

　　3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。

　　那么║·║称为X上的一个范数。

　　（注意到║x+y║≤║x║+║y║中如令y=-x，再利用║-x║=║x║可以得到║x║≥0，即║x║≥0在定义中不是必要的。）

　　如果 线性空间上定义了范数，则称之为 赋范线性空间。

　　注记：范数与内积，度量，拓扑是相互联系的。

　　1. 利用范数可以诱导出度量：d(x,y)=║x-y║，进而诱导出拓扑，因此赋范线性空间是 度量空间。

　　但是反过来度量不一定可以由范数来诱导。

　　2. 如果赋范线性空间作为(由其范数自然诱导度量d(x,y)=║x-y║的)度量空间是完备的，即任何 柯西(Cauchy)序列在其中都收敛，则称这个赋范线性空间为 巴拿赫(Banach)空间。

　　3. 利用内积<·,·>可以诱导出范数：║x║=<x,x>^{1/2}。

　　反过来，范数不一定可以诱导内积。当范数满足平行四边形公式║x+y║^2+║x-y║^2=2(║x║^2+║y║^2)时，这个范数一定可以诱导内积。

　　完备的内积空间称为 希尔伯特(Hilbert)空间。

　　4. 如果去掉范数定义中的正定性，那么得到的泛函称为半范数(seminorm或者叫准范数)，相应的线性空间称为 赋准范线性空间。完备的赋准范线性空间称为 Fréchet空间。

　　对于X上的两种范数║x║α,║x║β，若存在正常数C满足

　　║x║β≤C║x║α

　　那么称║x║β弱于║x║α。如果║x║β弱于║x║α且║x║α弱于║x║β，那么称这两种范数等价。

　　可以证明，有限维空间上的范数都等价，无限维空间上至少有阿列夫(实数集的基数)种不等价的范数。

编辑本段算子范数

　　如果X和Y是 巴拿赫空间，T是X->Y的线性算子，那么可以按下述方式定义║T║：

　　║T║ = sup{║Tx║：║x║<=1}

　　根据定义容易证明║Tx║ <= ║T║║x║。

　　对于多个空间之间的复合算子，也有║XY║ <= ║X║║Y║。

　　如果一个线性算子T的范数满足║T║ < +∞，那么称T是 有界线性算子，否则称T是无界线性算子。

　　比如，在常用的范数下，积分算子是有界的，微分算子是无界的。

　　容易证明，有限维空间的所有线性算子都有界。

编辑本段有限维空间的范数

基本性质

　　有限维空间上的范数具有良好的性质，主要体现在以下几个定理：

　　性质1：对于有限维赋范线性空间的任何一组基，范数是元素(在这组基下)的坐标的连续函数。

　　性质2(Minkowski定理)：有限维线性空间的所有范数都等价。

　　性质3(Cauchy收敛原理)：实数域(或复数域)上的有限维线性空间(按任何范数)必定完备。

　　性质4：有限维赋范线性空间中的序列按坐标收敛的充要条件是它按任何范数都收敛。

常用范数

　　这里以C^n空间为例，R^n空间类似。

　　最常用的范数就是p-范数。若x=[x1,x2,...,xn]^T，那么

　　║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}

　　可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为 闵可夫斯基(Minkowski)不等式。

　　当p取1，2，∞的时候分别是以下几种最简单的情形：

　　1-范数：║x║1=│x1│+│x2│+…+│xn│

　　2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2

　　∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│)

　　其中2-范数就是通常意义下的距离。

　　对于这些范数有以下不等式：║x║∞ ≤ ║x║2 ≤ ║x║1 ≤ n^{1/2}║x║2 ≤ n║x║∞

　　另外，若p和q是赫德尔(H&ouml;lder)共轭指标，即1/p+1/q=1，那么有赫德尔不等式：

　　|<x,y>| = ||x^H*y| <= ║x║p║y║q

　　当p=q=2时就是柯西-许瓦兹(Cauchy-Schwarz)不等式。

编辑本段矩阵范数

　　一般来讲 矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。

　　如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。

　　注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mxn矩阵全体和mn维 向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

诱导范数

　　把矩阵看作线性算子，那么可以由向量范数诱导出矩阵范数

　　║A║ = max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0} ，

　　它自动满足对向量范数的相容性

　　║Ax║ ≤ ║A║║x║，

　　并且可以由此证明

　　║AB║ ≤ ║A║║B║。

　　注：

　　1.上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的(有限开覆盖定理)，从而上面的连续函数可以取到最值。

　　2.显然，单位矩阵的算子范数为1。

　　常用的三种p-范数诱导出的矩阵范数是

　　1-范数：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } (列和范数，A每一列元素 绝对值之和的最大值)

　　(其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+...+|an1|,其余类似)；

　　2-范数：║A║2 = A的最大奇异值 = ( max{ λi(A^H*A) } ) ^{1/2} (谱范数,即A'A 特征值λi中最大者λ1的平方根，其中A^H为A的转置 共轭矩阵)；

　　∞-范数：║A║∞ = max{ ∑|a1j|, ∑|a2j| ,..., ∑|amj| } (行和范数，A每一行元素绝对值之和的最大值)

　　(其中为∑|a1j| 第一行元素绝对值的和，其余类似)；

　　其它的p-范数则没有很简单的表达式。

　　对于p-范数而言，可以证明║A║p=║A^H║q，其中p和q是共轭指标。

　　简单的情形可以直接验证：║A║1=║A^H║∞，║A║2=║A^H║2，一般情形则需要利用║A║p=max{y^H*A*x：║x║p=║y║q=1}。

非诱导范数

　　有些矩阵范数不可以由向量范数来诱导，比如常用的Frobenius范数(也叫Euclid范数，简称F-范数或者E-范数)：

　　║A║F= ( ∑∑ aij^2 )^1/2 (A全部元素平方和的平方根)。

　　容易验证F-范数是相容的，但当min{m,n}>1时F-范数不能由向量范数诱导(||E11+E22||F=2>1)。

　　可以证明任一种矩阵范数总有与之相容的向量范数。例如定义

　　║x║=║X║，其中X=[x,x,…,x]是由x作为列的矩阵。

　　由于向量的F-范数就是2-范数，所以F-范数和向量的2-范数相容。另外还有以下结论：

　　║AB║F <= ║A║F ║B║2 以及 ║AB║F <= ║A║2 ║B║F

矩阵的谱半径和范数

　　定义：A是n阶方阵，λi是其特征值，i=1,2,…,n。则称特征值的绝对值的最大值为A的 谱半径，记为ρ(A)。

　　注意要将谱半径与谱范数(2-范数)区别开来，谱范数是指A的最大奇异值，即A^H*A最大特征值的算术平方根。

　　谱半径是矩阵的函数，但不是矩阵范数。谱半径和范数的关系是以下几个结论：

　　定理1：谱半径不大于矩阵范数，即ρ(A)≤║A║。

　　因为任一特征对λ,x,Ax=λx，可得Ax=λx。两边取范数并利用相容性即得结果。

　　定理2：对于任何方阵A以及任意正数e，存在一种矩阵范数使得║A║<ρ(A)+e。

　　定理3(Gelfand定理)：ρ(A)=lim_{k->∞} ║A^k║^{1/k}。

　　利用上述性质可以推出以下两个常用的推论：

　　推论1：矩阵序列 I,A,A^2,…A^k,… 收敛于零的充要条件是ρ(A)<1。

　　推论2：级数 I+A+A^2+... 收敛到(I-A)^{-1}的充要条件是ρ(A)<1。

酉不变范数

　　定义：如果范数║·║满足║A║=║UAV║对任何矩阵A以及酉矩阵U,V成立，那么这个范数称为酉不变范数。

　　容易验证，2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的奇异值，所以由奇异值得到的范数是酉不变的，比如2-范数是最大奇异值，F-范数是所有奇异值组成的向量的2-范数。

　　反过来可以证明，所有的酉不变范数都和奇异值有密切联系：

　　定理(Von Neumann定理)：在酉不变范数和对称度规函数(symmetric gauge function)之间存在一一对应关系。

　　也就是说任何酉不变范数事实上就是所有奇异值的一个对称度规函数。

扩展阅读：

• 1

  卓里奇《数学分析》第二卷，张贤科、许甫华《高等代数学》