奇异值分解

奇异值分解（Singular Value Decomposition，SVD）。

A是一个mxn矩阵，U是mxm矩阵，D是mxn矩阵，V是nxn矩阵。

U和V都是正交矩阵，D是对角矩阵，但不一定是方阵。

对角矩阵D对角线上的元素称为矩阵A的奇异值（singular value），A的非零奇异值是特征值的平方根，也是特征值的平方根；
矩阵U的列向量称为左奇异向量（left singular vector），是的特征向量；
矩阵V的列向量称为右奇异向量（right singular vector），是的特征向量。

SVD最有用的性质可能是拓展矩阵求逆到非方矩阵上。

在求解Moore-Penrose伪逆的时候，会用到奇异值分解。

推导：

大概思路就是：

通过的特征向量对应的单位正交基[v1,...,vn]=V，其中vi对应的特征值为λi，得到了另一个正交基，即[Av1,...,Avn]=AV。
AV中单个向量Avi的长度是vi对应的特征是√λi，也就是A的奇异值σi。当A有r个非0的奇异值时，ColA对应的正交基就是[Av1,...,Avr]。
将ColA对应的正交基单位化得：[u1,...,ur]。其中ui=Avi/||Avi||=Avi/σi，所以有σiui=Avi。
将[u1,...,ur]扩充到m维[u1,...,um]=U。且由上一行中的σiui=Avi可知UD=AV，所以：，又因为V是单位正交基，所以。

下面是《线性代数及其应用》(第3版)，David C.Lay，机械工业出版社，奇异值分解那一章的内容。

其他参考资料：

https://blog.youkuaiyun.com/zhongkejingwang/article/details/43053513（推导）
https://blog.youkuaiyun.com/he19930303/article/details/51147858（几何意义和应用）
https://www.jianshu.com/p/56b2967d20ba（应用）