PCA降维

PCA降维

PCA降维也称为主成分分析法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

案例分析

本文将一个三维数据降维成二维的数据，同时进行可视化。

基本原理

（1）标准化
设数据矩阵$/X={\left(x_{ij}\right)}_{m\times n}/$，设数据矩阵内元素，经过指标正向化和标准化处理过后的矩阵$/D={\left(d_{ij}\right)}_{m\times n}/$
$$\overline{x_j}=\frac{1}{n}\sum _{i=1}^n{x}_{ij}$$
$$S_j=\sqrt{\frac{{\sum }_{i=1}^m\left(x_{ij}^{{}^{\prime }}-\overline{x_j^{{}^{\prime }}}\right)}{n-1}}$$
$$d_{ij}=\frac{x_{ij}-\overline{x_j}}{S_j}$$
（2）降维

1. 计算相关系数矩阵：计算相关系数矩阵R，使用皮尔逊相关系数计算各指标间的相关系数，即列与列之间的相关系数。
2. 计算R的特征值和特征向量：计算出特征值并把它们按照从大到小的顺序排列，对应的特征向量也相应排列。特征值为：$/{\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_n\ge 0/$，其对应的特征向量为：$/e_j=\left(l_1,l_2,\cdots l_n\right)/$
3. 计算主成成分贡献率及累计贡献率: 设第j项指标贡献率为$/a_j=\frac{{\lambda }_j}{{\sum }_{j=1}^n{\lambda }_j}/$，设前p项指标累计贡献为$/a_{sj}=\frac{{\sum }_{j=1}^p{\lambda }_j}{{\sum }_{j=1}^n{\lambda }_j}/$。
   若前p个指标累计累计贡献率大于85%，则可以认为这p个主成分可以综合体现指标。降维后的矩阵如下：$/M_{ij}=D_{mn}\times \left[l_1,l_2,\cdots l_p\right]/$。

PCA降维的Matlab代码

clc
clear
t=-4:0.05:4*pi;x=cos(t);y=sin(t);z=t;
scatter3(x,y,z,'g');
hold on
data=[x;y;z]';
data=zscore(data);
R=corr(data);
%计算特征向量和特征值
[V,D]=eig(R);  %V特征向量，D特征值对角线矩阵
lam=diag(D);%取出对角线元素
%对特征值从大到小排列
[lam_sort,index]=sort(lam,'descend');
V_sort=V(:,index);
gong=lam_sort./sum(lam_sort); %贡献率
cgong=cumsum(gong); %累计贡献率
index1=2; %找到累计贡献达到85%的位置
M=data*V_sort;
M=M(:,1:index1);  %这就是得到的新的累计贡献率超过85%主成分
plot(M(:,1),M(:,2),'b')
hold on
title('三维数据降为两维数据')
legend('降维前的三维数据','降维后的二维数据')
xlabel('x')
ylabel('y')
zlabel('z')