特征值和特征向量的几何和物理意义

From: http://blog.163.com/renguangqian

摘自 《线性代数的几何意义》

我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

实际上，上述的一段话既讲了矩阵变换特征值及特征向量的几何意义（图形变换）也讲了其物理含义。物理的含义就是运动的图景：特征向量在一个矩阵的作用下作伸缩运动，伸缩的幅度由特征值确定。特征值大于1，所有属于此特征值的特征向量身形暴长；特征值大于0小于1，特征向量身形猛缩；特征值小于0，特征向量缩过了界，反方向到0点那边去了。

    注意：常有教科书说特征向量是在矩阵变换下不改变方向的向量，实际上当特征值小于零时，矩阵就会把特征向量完全反方向改变，当然特征向量还是特征向量。我赞同特征向量不改变方向的说法：特征向量永远不改变方向，改变的只是特征值（方向反转特征值为负值了）。这有点类似地说冬天深圳的室外“温度”是10℃，哈尔滨室外的“温度”是-30℃(称温度而不温)；也类似说无人飞机在海拔“高度”100米处飞行而核潜艇在海拔“高度”-50米（称高度而不高）处游弋一样。

关于特征值和特征向量，这里请注意两个亮点。这两个亮点一个是线性不变量的含义，二个是振动的谱含义。

特征向量是线性不变量

所谓特征向量概念的亮点之一是不变量，这里叫线性不变量。因为我们常讲，线性变换啊线性变换，不就是把一根线（向量）变成另一根线（向量），线的变化的地方大多是方向和长度一块变。而一种名叫“特征向量”的向量特殊，在矩阵作用下不变方向只变长度。不变方向的特性就被称为线性不变量。

如果有读者坚持认为负方向的特征向量就是改变了向量的方向的想法的话，你不妨这样看线性不变量：特征向量的不变性是他们变成了与其自身共线的向量，他们所在的直线在线性变换下保持不变；特征向量和他的变换后的向量们在同一根直线上，变换后的向量们或伸长或缩短，或反向伸长或反向缩短，甚至变成零向量（特征值为零时），如下图。

 

特征值是振动的谱

除了线性不变量，另外一个亮点是关于振动方面的。戏说在朝代宋的时候，我国就与发现矩阵特征值理论的机会擦肩而过。话说没有出息的秦少游在往池塘里扔了一颗小石头后，刚得到一句“投石冲开水底天”的泡妞诗对之后，就猴急猴急地去洞房了，全然没有想到水波中隐含着矩阵的特征值及特征向量的科学大道理。大概地说，水面附近的任一点水珠在原处上下振动（实际上在做近似圆周运动），并没有随着波浪向外圈移动，同时这些上下振动的水珠的幅度在渐渐变小，直至趋于平静。在由某块有着特定质量和形状的石头被以某种角度和速度投入某个面积和深度特定的水池中所决定的某个矩阵中，纹波荡漾中水珠的渐变过程中其特征值起着决定性的作用，它决定着水珠振动的频率和幅度减弱的衰退率。

在理解关于振动的特征值和特征向量的过程中，需要加入复向量和复矩阵的概念，因为在实际应用中，实向量和实矩阵是干不了多少事的。机械振动和电振动有频谱，振动的某个频率具有某个幅度；那么矩阵也有矩阵的谱，矩阵的谱就是矩阵特征值的概念，是矩阵所固有的特性，所有的特征值形成了矩阵的一个频谱，每个特征值是矩阵的一个“谐振频点”。

美国数学家斯特让（G..Strang）在其经典教材《线性代数及其应用》中这样介绍了特征值作为频率的物理意义，他说：

大概最简单的例子（我从不相信其真实性，虽然据说1831年有一桥梁毁于此因）是一对士兵通过桥梁的例子。传统上，他们要停止齐步前进而要散步通过。这个理由是因为他们可能以等于桥的特征值之一的频率齐步行进，从而将发生共振。就像孩子的秋千那样，你一旦注意到一个秋千的频率，和此频率相配，你就使频率荡得更高。一个工程师总是试图使他的桥梁或他的火箭的自然频率远离风的频率或液体燃料的频率；而在另一种极端情况，一个证券经纪人则尽毕生精力于努力到达市场的自然频率线。特征值是几乎任何一个动力系统的最重要的特征。

其实，这个矩阵之所以能形成“频率的谱”，就是因为矩阵在特征向量所指的方向上具有对向量产生恒定的变换作用：增强（或减弱）特征向量的作用。进一步的，如果矩阵持续地叠代作用于向量，那么特征向量的就会凸现出来。

比如，一个物理系统，其特性可以被一个矩阵所描述，那么这个系统的物理特性就可以被这个矩阵的特征值所决定，各种不同的信号（向量）进入这个系统中后，系统输出的信号（向量）就会发生相位滞后、放大、缩小等各种纷乱的变化。但只有特征信号（特征向量）被稳定的发生放大（或缩小）的变化。如果把系统的输出端口接入输入端口，那么只有特征信号（特征向量）第二次被放大（或缩小）了，其他的信号如滞后的可能滞后也可能超前同时缩小，放大的可能被继续放大也可能被缩小同时滞后，缩小的可能被继续缩小也可能被放大同时滞后等。经过N次的循环后，显然，乱七八糟的大量的向量群众们终不能成气候，只有特征向量们，心往一处想，劲往一处使，要么成功出人头地，要么失败杀身成仁。因此我们就可以因此在时间域上观察输出，就会得到一个或几个超级明显的特征信号出来（特征向量）。

弄过电路的哥们早看出了俺的含沙射影：切！绕什么绕，你说的不就是振荡器的原理嘛，振荡信号（电压、电流）构成了特征向量，特征值是1，振荡信号的频率是…

是是是，就是振荡器的原理。其实振荡器原理是可以用矩阵的幂来解释的。这个编辑器不好用，矩阵分析和细节这里就忽略了。

附带文中出现的基本概念：

频谱就是频率的分布曲线，复杂振荡分解为振幅不同和频率不同的谐振荡，这些谐振荡的幅值按频率排列的图形叫做频谱。

设 A 是n阶方阵，如果存在数m和非零n维列向量x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristicvalue)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

求矩阵特征值的方法

Ax=mx，等价于求m，使得(mE-A)x=0，其中E是单位矩阵，0为零矩阵。

|mE-A|=0，求得的m值即为A的特征值。|mE-A|是一个n次多项式，它的全部根就是n阶方阵A的全部特征值，这些根有可能相重复，也有可能是复数。

如果n阶矩阵A的全部特征值为m1m2 ... mn，则|A|=m1*m2*...*mn

同时矩阵A的迹是特征值之和：tr（A）=m1+m2+m3+…+mn[1]

如果n阶矩阵A满足矩阵多项式方程g(A)=0,则矩阵A的特征值m一定满足条件g(m)=0;特征值m可以通过解方程g(m)=0求得。

特征值分解（）

线性代数中，特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

N 维非零向量  v 是  N× N 的矩阵  A 的 特征向量，当且仅当下式成立：

Av=λv

其中  λ 为一标量，称为  v 对应的 特征值。也称  v 为特征值  λ 对应的特征向量。也即特征向量被施以线性变换 A 只会使向量伸长或缩短而其方向不被改变。

由上式可得 　 p ( λ )：＝ｄｅｔ（Ａ－ λＩ）＝０

称多项式  p( λ) 为矩阵的 特征多项式。上式亦称为矩阵的 特征方 程。特征多项式是关于未知数  λ 的  N 次多项式。由 代数基本定理，特征方程有  N 个解。这些解的解集也就是特征值的集合，有时也称为“谱”（Spectrum）。

我们可以对多项式  p 进行 因式分解，而得到

p ( λ )＝ （λ－λ１）ｎ１．．．（λ－λｋ）ｎｋ＝０

其中 ｎ１＋ｎ２＋．．．＋ｎｋ＝ｎ

对每一个特征值 λ _i ，我们都有下式成立： （Ａ－λ _i Ｉ） v＝０

对每一个特征方程，都会有 m _i  （ｍｉ在闭区间的１到ｎｉ之间）个 线性无关的解。这  m _i 个向量与一个特征值 λ _i 相对应。这里，整数  m _i 称为特征值 λ _i 的 几何重数，而  n _i 称为 代数重数。这里需要注意的是几何重数与代数重数可以相等，但也可以不相等。一种最简单的情况是  m _i =  n _i = 1。特征向量的极大线性无关向量组中向量的个数可以由所有特征值的几何重数之和来确定。