再谈SVD

奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。
定义：设A为m*n阶矩阵，AHA的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。
如果把AHA的特征值记为λi(A)，则σi(A)＝λi(AHA)^(1/2)。
定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得: 
A = U*S*V’
其中S=diag(σi,σ2,……,σr)，σi>0
(i=1,…,r)，r=rank(A)。
推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得
A = U*S*V’
其中S=diag(σi,σ2,……,σr)，σi>0
(i=1,…,r)，r=rank(A)。
说明：
1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。U和V中分别是A的奇异向量，而S是A的奇异值。AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。因此，奇异值分解和特征值问题紧密联系。
2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。 

关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A'A特征值的说明. (对复矩阵类似可得)

从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B'=B-1, 即B'B=I), S为对角阵.

A'A=V'S'U'USV=V'S'SV=V-1S2V

上式中, 一方面因为S是对角阵, S'S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A'A是相似与S2的, 因此与S2有相同特征值.其实奇异值可以认为是一种特殊的矩阵范数！

特征向量：它经过这种特定的变换后保持方向不变.只是进行长度上的伸缩而已。
特征值： 一个变换（矩阵）可由它的所有特征向量完全表示，而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量（power）。
内积：内积可以简单的理解为两个函数的相似程度,内积值越大表示两个函数相似程度越大,内积为零表示完全不相似。两个函数内积为零则两个函数正交,在三维空间中它们的夹角为90度,在三维以上不是这样的。