关于矩阵分解,SVD方面

非奇异矩阵也就是可逆矩阵
假设A是一个n×nn\times nn×n维的矩阵,λ\lambdaλ为矩阵A的一个特征值,xxx为其对应的特征向量。假设AAA矩阵的n个特征值为λ1\lambda_1λ1,λ2\lambda_2λ2,λ3\lambda_3λ3λn\lambda_nλn,这n个特征值对应的特征向量为w1w_1w1,w2w_2w2,w3w_3w3wnw_nwn则矩阵A可以进行分解
在这里插入图片描述
对特征向量进行标准化,则n个特征向量变成了标准正交基,满足WTW=IW^TW=IWTW=I
则特征分解可以转化为下面

在这里插入图片描述
上述的矩阵的分解针对的都是nnn阶方阵,而针对m×nm\times nm×n大小的矩阵,我们该如何分解?

SVD

在这里插入图片描述
假设A为m×nm\times nm×n的矩阵,则矩阵A可以奇异值分解上面的形式,其中,UUUm×mm\times mm×m维的矩阵,VVVn×nn\times nn×n维的矩阵,且满足UTU=IU^TU=IUTU=I,VTV=IV^TV=IVTV=I
那么UUUVVV到底如何计算而来?
在这里插入图片描述
在这里插入图片描述
AT×AA^T\times AAT×AA×ATA\times A^TA×AT分别为n×nn\times nn×n,m×mm\times mm×m维,现在就剩下奇异值矩阵Σ\SigmaΣ没有求解了,我们按照下图求解,
在这里插入图片描述
上面还有一个问题没有讲,就是我们说AT×AA^T\times AAT×A的特征向量组成的就是我们SVD中的V矩阵,而的A×ATA\times A^TA×AT特征向量组成的就是我们SVD中的U矩阵,这有什么根据吗?这个其实很容易证明,我们以V矩阵的证明为例。在这里插入图片描述
从这里又可以推导出奇异值的另外一种计算方法:
在这里插入图片描述
AT×AA^T\times AAT×A或者A×ATA\times A^TA×AT的特征值进行求根号。

SVD的性质

对于奇异值,它跟我们特征分解中的特征值类似,在奇异值矩阵中也是按照从大到小排列,而且奇异值的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说,我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。
在这里插入图片描述
其中k要比n小很多,也就是一个大的矩阵A可以用三个小的矩阵来表示。如下图所示,现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了
在这里插入图片描述

参考:https://www.cnblogs.com/pinard/p/6251584.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值