非奇异矩阵也就是可逆矩阵
假设A是一个n×nn\times nn×n维的矩阵,λ\lambdaλ为矩阵A的一个特征值,xxx为其对应的特征向量。假设AAA矩阵的n个特征值为λ1\lambda_1λ1,λ2\lambda_2λ2,λ3\lambda_3λ3…λn\lambda_nλn,这n个特征值对应的特征向量为w1w_1w1,w2w_2w2,w3w_3w3…wnw_nwn则矩阵A可以进行分解
对特征向量进行标准化,则n个特征向量变成了标准正交基,满足WTW=IW^TW=IWTW=I
则特征分解可以转化为下面
上述的矩阵的分解针对的都是nnn阶方阵,而针对m×nm\times nm×n大小的矩阵,我们该如何分解?
SVD
假设A为m×nm\times nm×n的矩阵,则矩阵A可以奇异值分解上面的形式,其中,UUU为m×mm\times mm×m维的矩阵,VVV为n×nn\times nn×n维的矩阵,且满足UTU=IU^TU=IUTU=I,VTV=IV^TV=IVTV=I。
那么UUU和VVV到底如何计算而来?
AT×AA^T\times AAT×A和A×ATA\times A^TA×AT分别为n×nn\times nn×n,m×mm\times mm×m维,现在就剩下奇异值矩阵Σ\SigmaΣ没有求解了,我们按照下图求解,
上面还有一个问题没有讲,就是我们说AT×AA^T\times AAT×A的特征向量组成的就是我们SVD中的V矩阵,而的A×ATA\times A^TA×AT特征向量组成的就是我们SVD中的U矩阵,这有什么根据吗?这个其实很容易证明,我们以V矩阵的证明为例。
从这里又可以推导出奇异值的另外一种计算方法:
对AT×AA^T\times AAT×A或者A×ATA\times A^TA×AT的特征值进行求根号。
SVD的性质
对于奇异值,它跟我们特征分解中的特征值类似,在奇异值矩阵中也是按照从大到小排列,而且奇异值的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说,我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。
其中k要比n小很多,也就是一个大的矩阵A可以用三个小的矩阵来表示。如下图所示,现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了
参考:https://www.cnblogs.com/pinard/p/6251584.html