机器学习（五）PCA数据降维

PCA数据降维

原文地址：http://blog.csdn.NET/hjimce/article/details/45000221 

作者：hjimce

一、PCA相关理论

PCA算法又称主成分分析，是一種分析、簡化數據集的技術。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。

PCA不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。

二、PCA算法实现

对于PCA数据降维算法一开始经常和SVD奇异分解搞混了，其实这两个可以说扯不上关系，SVD分解是一种矩阵分解的解法，可以用于求取一个非方阵矩阵的特征值和特征向量。下面先从PCA算法流程讲起：

(1)对于给定的二维数据点集P(x,y)，求取这些散乱点的重心坐标

(2)把散乱点的重心坐标平移到原点，同时构造新数据矩阵：

注意上面每个点，需要写成列向量的形式，这样构造的M矩阵是一个2行，n列的矩阵

(3)构造协方差矩阵，协方差矩阵为：

由于M矩阵是的矩阵，则最后的协方差矩阵为的矩阵，存在两个特征值和特征向量。

(4)求解A矩阵的特征值，特征向量，那么特征值最大对应的特征向量，为数据点位置方差变化最快的方向，如下图，直线的方向向量即为A矩阵的最大特征向量的方向，而A矩阵的另外一个特征向量，即为垂直于该直线的方向向量。

 

(5)设求解出的A矩阵的特征向量为，上图的二维特征向量就是直线的法向量和垂直于该直线的法向量。接着把所有的原来数据点P(x,y)，投影到这些特征向量上，得到对应的系数，其实这一步很简单，只需要把P(x，y)与特征向量点乘，即

即可转换到特征空间的投影坐标B，也就是相当于转换到相对以特征向量为坐标轴方向的相对坐标系下。

那么同理，如果要把数据从相对坐标系转换到世界坐标系下就要用公式：

这就是PCA算法，数据重建的公式。

(6)数据降维，说的简单一点就是丢弃掉一些特征向量，然后进行重建数据，比如所我现在要把上面的二维数据降为1维，那么我重建数据的公式就要由：

变为

也就是说与数据重建的结果无关，数据存储的时候，只需要存一维坐标，然后由重建降维后的数据，而原来每个样本点的需要存储(x,y)两个数据，这就是所谓的数据降维。

[c++]  view plain  copy

1. x=importdata('x.txt');  
2. y=importdata('y.txt');  
3. data(:,1)=x;  
4. data(:,2)=y;  
5. plot(data(:,1),data(:,2),'.k');  
6. %计算平均值   
7. [m n]=size(data);  
8. meanx=sum(data(:,1))/m;  
9. meany=sum(data(:,2))/m;  
10. covariation=data;  
11. covariation(:,1)=covariation(:,1)-meanx;  
12. covariation(:,2)=covariation(:,2)-meany;  
13. %协方差矩阵  
14. comatrix=covariation'*covariation;  
15. %矩阵分解 通过svd计算的结果需要转换，才能得到特征向量，  
16. % 而eig是不需要转换的，不过eig好像没有对特征向量的值进行排序  
17. [s v d]=svd(comatrix);  
18. [u1,eigD] = eig(comatrix)   
19.  for i=1:n  
20.      u(:,i)=1/sqrt(v(i,i))*comatrix*d(:,i);  
21.  end  
22. hold on;  
23. plot([0+meanx,u(1,2)+meanx],[meany,u(2,2)+meany],'-y');  
24. %计算特征空间中的坐标  
25. figure(2);  
26. hold on;  
27. for i=1:m  
28. newpca(i,1)=covariation(i,:)*u(:,1);  
29. newpca(i,2)=covariation(i,:)*u(:,2);  
30. end   
31. plot(newpca(:,1),newpca(:,2),'.k');  
32.   
33.   
34.   
35.   
36.   
37. % x=u(1,2)*u1(2,1);判断是否平行  
38. % y=u(2,2)*u1(1,1);  
39. % plot([0+meanx,u1(1,1)+meanx],[meany,u1(2,1)+meany]);  
40. % plot([0+meanx,u1(1,2)+meanx],[meany,u1(2,2)+meany]);  

当然对于真正的数据，往往不仅仅是2维的，可以有更高维的向量，比如在机器学习领域，对于一张的图片，每一个样本的维数就是400维，存在着大量的冗余数据，因此降维是很有必要的。

***********作者：hjimce     联系qq：139385268    更多资源请关注我的博客：http://blog.youkuaiyun.com/hjimce                  原创文章，转载请注明出处 *********************