PCA简介
PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征。这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。
https://blog.youkuaiyun.com/zhongkelee/article/details/44064401
奇异值分解(SVD)
当给定一个大小为的矩阵
,虽然矩阵
不一定是方阵,但大小为
的
和
的
却是对称矩阵,若
,
,则矩阵
的奇异值分解为
其中,矩阵的大小为
,列向量
是
的特征向量,也被称为矩阵
的左奇异向量(left singular vector);矩阵
的大小为
,列向量
是
的特征向量,也被称为矩阵
的右奇异向量(right singular vector);矩阵
大小为
,矩阵
大小为
,两个矩阵对角线上的非零元素相同(即矩阵
和矩阵
的非零特征值相同,推导过程见附录1);矩阵
的大小为
,位于对角线上的元素被称为奇异值(singular value)。
接下来,我们来看看矩阵与矩阵
和矩阵
的关系。令常数
是矩阵
的秩,则
,当
时,很明显,矩阵
和矩阵
的大小不同,但矩阵
和矩阵
对角线上的非零元素却是相同的,若将矩阵
(或矩阵
)对角线上的非零元素分别为
,其中,这些特征值也都是非负的,再令矩阵
对角线上的非零元素分别为
,则
即非零奇异值的平方对应着矩阵(或矩阵
)的非零特征值,到这里,我们就不难看出奇异值分解与对称对角化分解的关系了,即我们可以由对称对角化分解得到我们想要的奇异值分解。
设A为m*n阶矩阵,q=min(m,n),A*A的q个非负特征值的算术平方根叫作A的奇异值.。