理解降维算法之PCA(主成分分析）

一、PCA理论基础

主成分分析（Principal Component Analysis）是目前为止最流行的降维算法。首先它找到接近数据集分布的超平面，然后将所有的数据都投影到这个超平面上
“具体的，假如我们的数据集是n维的，共有m个数据(x(1),x(2),…,x(m))。我们希望将这m个数据的维度从n维降到n’维，希望这m个n’维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n’维肯定会有损失，但是我们希望损失尽可能的小。那么如何让这n’维的数据尽可能表示原来的数据呢？
我们先看看最简单的情况，也就是n=2，n’=1,也就是将数据从二维降维到一维。数据如下图。我们希望找到某一个维度方向，它可以代表这两个维度的数据。图中列了两个向量方向，u1和u2，那么哪个向量可以更好的代表原始数据集呢？从直观上也可以看出，u1比u2好为什么u1比u2好呢？
可以有两种解释，第一种解释是样本点到这个直线的距离足够近，第二种解释是样本点在这个直线上的投影能尽可能的分开。
　　假如我们把n’从1维推广到任意维，则我们的希望降维的标准为：样本点到这个超平面的距离足够近,或者说样本点在这个超平面上的投影能尽可能的分开。”----by刘建平老师
　　刘老师上面我加粗的部分的两个解释分别是指利用最小平方误差准则，这个类似于线性回归中最优拟合中的想法；第二个解释是基于最大方差的准则，”样本点在这个直线上的投影能尽可能的分开“就是说在这条直线上的投影方差最大

二、 PCA算法流程

输入：n维样本集D=(x(1),x(2),…,x(m))，要降维到的维数n’.

输出：降维后的样本集D′
1)对所有的样本进行中心化：

2) 计算样本的协方差矩阵$X{X}^T$
3) 对矩阵$X{X}^T$ 进行特征值分解(即求解特征值和特征向量）

4)取出最大的n’个特征值对应的特征向量(w1,w2,…,wn′), 将所有的特征向量标准化后，组成特征向量矩阵W。
5)对样本集中的每一个样本x(i),转化为新的样本z(i)=$W^{T}x(i)$
6) 得到输出样本集D′=(z(1),z(2),…,z(m))
　 有时候，我们不指定降维后的n’的值，而是换种方式，指定一个降维到的主成分比重阈值t。这个阈值t在（0,1]之间。假如我们的n个特征值为λ1≥λ2≥…≥λn,则n’可以通过下式得到:

三、PCA理解实例

下面举一个简单的例子，说明PCA的过程。
假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。
首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01)。
现在我们开始求样本的协方差矩阵，由于我们是二维的，则协方差矩阵为：

$X{X}^T$=(cov(x1,x1)cov(x2,x1)
cov(x1,x2)cov(x2,x2))
对于我们的数据，求出协方差矩阵为：

$X{X}^T$=(0.616555556 0.615444444
0.6154444440.716555556)
求出特征值为（0.0490833989， 1.28402771），对应的特征向量分别为：(0.735178656,0.677873399)T，(−0.677873399,−0.735178656)T,由于最大的k=1个特征值为1.28402771，对于的k=1个特征向量为(−0.677873399,−0.735178656)T. 则我们的W=(−0.677873399,−0.735178656)T
　　　　我们对所有的数据集进行投影z(i)=$W^{T}x(i)$，得到PCA降维后的10个一维数据集为：(-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)
注，公式推导部分没有总结，可以查看已有资料的推导

参考

刘建平老师博客