PCA主成分分析

1. 背景

在研究多变量的数据时，变量太多不仅导致数据的复杂性，而且不同的变量之间可能存在一定的相关关系，即两个变量之间的信息有一定的重叠，这无疑为分析问题增加了难度。为了提取数据中的主要信息成分，提出了一个新的降维方法PCA。主成分分析（Principal Component Analysis，简称PCA）是最常用的一种降维方法。它是将原先提出的所有变量中关系紧密的变量删除，建立尽可能少的新变量，使得这些新变量两两不相关，而且这些新变量尽可能的包含原有的信息。

2. 基础知识

协方差与散度矩阵

样本均值$$\bar{x}=\frac{1}{n}\sum _{i=1}^N{x}_i$$样本方差$$S^2=\frac{1}{n-1}\sum _{i=1}^N(x_i-\bar{x}{)}^2$$样本X和样本Y的协方差$$\begin{array}{rl}cov(X,Y)& =E[(X-E(X))(Y-E(Y))]\\ & =\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})\end{array}$$假如样本X和Y的维度为2维。那么它们之间的协方差为：$$cov(X,Y)=\left[\begin{array}{cc}cov(x,x)& cov(x,y)\\ cov(y,x)& cov(y,y)\end{array}\right]$$如果协方差为正，说明X和Y是正相关关系；协方差为负，说明X和Y是负相关关系；协方差为0，说明X与Y不相关。

散度矩阵$$S=\sum _{i=1}^n({\mathbf{x}}_{\mathbf{i}}-\mathbf{m})({\mathbf{x}}_{\mathbf{i}}-\mathbf{m}{)}^T$$$$\mathbf{m}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_{\mathbf{i}}$$数据X的散度矩阵为$X{X}^T$。散度矩阵等于协方差矩阵乘以（总数据量-1）。因此，它们的特征值与特征向量是相同的。

3. PCA

假设数据集中有m个数据{$x_1,x_2,...,x_m$}，每一个数据是d维数据。目标是在尽可能保证原有数据的信息条件下，将数据的维度从$d$维降到$d^{{}^{\prime }}$维。虽然对数据降维会导致原有数据信息的损失，但是希望是使得损失尽可能的小。那么，如何将$d$维数据降到$d^{{}^{\prime }}$维度呢？

举一个例子，如下图是将二维数据降到一维。希望是找到一个维度方向，可以代表这两个维度的数据。图中，有两个维度方向，$u_1$和$u_2$。那么，哪一个向量可以更好的代表原有数据呢？

直观来讲，$u_1$比$u_2$更适合作为一维方向。原因可从以下两个方面来解释：

1. 最近重构性：样本点到这个直线的距离都足够近；
2. 最大可分性：样本点在这个直线上的投影尽可能分开；

3.1 PCA的推导方法：最近重构性

假设m个d维数据{$x_1,x_2,...,x_m$}，首先进行数据中心化，即${\sum }_{i=1}^m{x}_i=0$，坐标系为{$w_1,w_2,...,w_d$}，其中w是标准正交基，即满足$||w|{|}_2=1,w_i^T{w}_j=0$。如果将数据从$d$维降到$d^{{}^{\prime }}$维，那么在新坐标系中的投影为$z_i=(z_{i1},z_{i2},...,z_{i{d}^{{}^{\prime }}})$，其中$z_{ij}={\mathbf{w}}_j^T{x}_i$是$x_i$在低维坐标系下第j维的坐标。如果用$z_i$来重构数据$x_i$，那么恢复数据为${\hat{x}}_i={\sum }_{j=1}^{d^{{}^{\prime }}}{z}_{ij}{\mathbf{w}}_j=W{z}_i$，其中W为标准正交基组成的矩阵。
考虑到整个数据集，希望所有样本到这个超平面的距离尽可能的小，即$$\begin{array}{rl}\sum _{i=1}^m{\Vert \sum _{j=1}^{d^{{}^{\prime }}}{z}_{ij}{w}_j-x_i\Vert }_2^2& =\sum _{i=1}^m||W{z}_i-x_i|{|}_2^2\\ & =\sum _{i=1}^m{z}_i^T{W}^{T}W{z}_i-2\sum _{i=1}^m(W{z}_i{)}^T{x}_i+\sum _{i=1}^m{x}_i^T{x}_i\\ & =\sum _{i=1}{z}_i^T{z}_i-2\sum _{i=1}^m{z}_i^T{z}_i+\sum _{i=1}^m{x}_i^T{x}_i\\ & =-\sum _{i=1}^m{z}_i^T{z}_i+\sum _{i=1}^m{x}_i^T{x}_i\\ & =-tr(Z^{T}Z)+\sum _{i=1}^m{x}_i^T{x}_i\\ & =-tr(W^{T}X{X}^{T}W)+\sum _{i=1}^m{x}_i^T{x}_i\end{array}$$其中，用到的公式有$(AB{)}^T=B^T{A}^T,W^{T}W=I,z_i=W^T{x}_i$。由于${\sum }_{i=1}^m{x}_i^T{x}_i$是数据集的协方差矩阵，为常数。W的每一个向量${\mathbf{w}}_j$是标准正交基，因此上式可转化为：$$arg\underset{W}{\min }-tr(W^{T}X{X}^{T}W)s.t.W^{T}W=I$$通过拉格朗日函数推导得到：$$J(W)=-tr(W^{T}X{X}^{T}W+\lambda (W^{T}W-I))$$对W求导得到：$$X{X}^{T}W=\lambda W$$此时可以看出，W为$X^{T}X$的$d^{{}^{\prime }}$个特征向量组成的矩阵，$\lambda$为$X^{T}X$矩阵的特征值组成的矩阵，特征值在主对角线上，非对角线上的元素为0。当数据集从$d$维降到$d^{{}^{\prime }}$时，只需按照特征值的由大到小顺序找到前$d^{{}^{\prime }}$个特征值及对应的特征向量，这些特征向量组成的矩阵就是我们要求得矩阵。再通过矩阵变换$z_i=W^T{x}_i$将原始数据映射到$d^{{}^{\prime }}$维空间中。

3.2 PCA的另一推导方法：最大可分性

假设m个d维数据{$x_1,x_2,...,x_m$}，首先进行数据中心化，即${\sum }_{i=1}^m{x}_i=0$，坐标系为{$w_1,w_2,...,w_d$}，其中w是标准正交基，即满足$||w|{|}_2=1,w_i^T{w}_j=0$。如果将数据从$d$维降到$d^{{}^{\prime }}$维，那么在新坐标系中的投影为$z_i=(z_{i1},z_{i2},...,z_{i{d}^{{}^{\prime }}})$，其中$z_{ij}={\mathbf{w}}_j^T{x}_i$是$x_i$在低维坐标系下第j维的坐标。

从最大可分性出发，对于任意一个样本$x_i$，在新空间超平面上的投影为$W^T{x}_i$，在新坐标系中的投影方差为$W^T{x}_i{x}_i^{T}W$。若所有样本的投影尽可能分开，则应该使得投影后的样本方差最大化。即最大化${\sum }_{i=1}^m{W}^T{x}_i{x}_i^{T}W$$$arg\underset{W}{\max }tr(W^{T}X{X}^{T}W)s.t.W^{T}W=I$$和上一个方法相同，用拉格朗日函数得到：$$J(W)=tr(W^{T}X{X}^{T}W+\lambda (W^{T}W-I))$$对W求导得到：$$X{X}^{T}W=-\lambda W$$类似，W为$X^{T}X$的$d^{{}^{\prime }}$个特征向量组成的矩阵，$\lambda$为$X^{T}X$矩阵的特征值组成的矩阵，特征值在主对角线上，非对角线上的元素为0。当数据集从$d$维降到$d^{{}^{\prime }}$时，只需按照特征值的由大到小顺序找到前$d^{{}^{\prime }}$个特征值及对应的特征向量，这些特征向量组成的矩阵就是我们要求得矩阵。再通过矩阵变换$z_i=W^T{x}_i$将原始数据映射到$d^{{}^{\prime }}$维空间中。

4. PCA算法

输入：$d$维样本集 D = { x 1 , x 2 , . . . , x m } D=\left\{x_1,x_2,...,x_m\right\} D={x1​,x2​,...,xm​}
输出：降维后的样本集$D^{{}^{\prime }}$

1. 对所有样本进行中心化：$x_i=x_i-\frac{1}{m}{\sum }_{i=1}^m{x}_i$
2. 计算样本的协方差矩阵$X{X}^T$
3. 对协方差矩阵$X{X}^T$进行特征值分解
4. 取最大的$d^{{}^{\prime }}$个特征值所对应的特征向量 { w 1 , w 2 , . . . , w d ′ } \left\{w_1,w_2,...,w_{d^{'}}\right\} {w1​,w2​,...,wd′​}，对所有特征向量进行标准化后，组成特征向量矩阵W
5. 对每一个样本$x_i$，投影得到新的样本$z_i=W^T{x}_i$
6. 得到输出样本集 D ′ = { z 1 , z 2 , . . . , z m } D^{'}=\left\{z_1,z_2,...,z_m\right\} D′={z1​,z2​,...,zm​}

对于降维后的维数$d^{{}^{\prime }}$可由用户事先指定，也可通过设置一个主成分比重阈值$t\in (0,1]$。假设特征值为${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_n$则选取使下式成立的最小$d^{{}^{\prime }}$值：$$\frac{{\sum }_{i=1}^{d^{{}^{\prime }}}{\lambda }_i}{{\sum }_{i=1}^d{\lambda }_i}\ge t$$

5. 核化线性降维

如果数据是线性的，线性降维方法可将数据从高维空间映射到低维空间。然而，一般情况下，数据是非线性的，不能使用PCA线性降维。因此，可先将n维数据映射到更高维N的空间，然后再从N维空间降维到低维空间n’。
非线性降维是一种常用的方法，核函数的主成分分析称为核主成分分析KPCA。假设n维空间到高维空间的映射函数为$\varphi$，n维空间的特征分解为：$$\sum _{i=1}^m{x}_i{x}_i^{T}W=\lambda W$$高维空间的特征分解为：$$\sum _{i=1}^m\varphi (x_i)\varphi (x_i{)}^{T}W=\sum _{i=1}^m\mathbf{k}(x_i,x_i)W=\lambda W$$

参考文献

• https://www.cnblogs.com/pinard/p/6239403.html
• https://blog.youkuaiyun.com/program_developer/article/details/80632779
• 周志华 《机器学习》