PCA——主成分分析

一、简介

 主成分分析是一种常用的无监督学习方法，这一方法利用正交变换（在线性代数中，正交变换是线性变换的一种。对一个由空间$R^n$投射到同一空间$R^n$的线性转换，如果转换后的向量长度与转换前的长度相同，则为正交变换)把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分析属于降维方法。

 主成分分析中，首先对给定数据进行规范化[1]，使得数据每一变量的平均值为0，方差为1。之后对数据进行正交变换，原来由线性相关变量表示的数据，通过正交变换变成由若干个线性无关的新变量表示的数据。新变量是可能的正交变换中 变量的方差的和（即信息保存）最大的，方差表示在新变量上的信息大小。将新变量依次称为第一主成分、第二主成分等，这就是主成分分析的基本思想。

 直观解释：数据集合中的样本由实数空间（正交坐标系）中的点表示，空间的一个坐标轴表示一个变量，规范化处理后得到的数据分布在原点附近。对原坐标系中的数据进行主成分分析就等价于进行坐标系旋转变换，将数据投影到新坐标系的坐标轴上；新坐标系的第一坐标轴、第二坐标轴等分别表示第一主成分、第二主成分等，数据在每一轴上的坐标值的平方表示相应变量的方差；并且，这个坐标系是在所有的新的坐标系中，坐标轴上的方差的和最大的。

 主成分的选取：在旋转变换后的所有坐标系中，主成分分析先选择方差最大的方向作为新坐标系的第一坐标轴，即第一主成分；然后选择与第一坐标轴正交，且方差最大的方向作为第二坐标轴，即第二主成分，以此类推。

 不妨设样本点$A$、$B$，在新坐标轴的上的投影是$A^{\ast }$、$B^{\ast }$，那么$|O{A}^{\ast }{|}^2+|O{B}^{\ast }{|}^2$就是样本在新坐标轴上的方差和。主成分分析就是选取在所有的坐标轴中，使$|O{A}^{\ast }{|}^2+|O{B}^{\ast }{|}^2$最大的那个坐标轴作为第一坐标轴。而$|OA{|}^2+|OB{|}^2$是不变的，结合勾股定理，$|O{A}^{\ast }{|}^2+|O{B}^{\ast }{|}^2$最大等价于$|A{A}^{\ast }{|}^2+|B{B}^{\ast }{|}^2$最小，所以等价的，主成分分析在旋转变换中选取离样本点的距离平方和最小的轴作为第一主成分，第二坐标轴等的选取，在保证与已选坐标轴正交的条件下，类似的进行。

二、定义和导出

 假设$\mathbf{x}=(x_1,x_2,\cdots ,x_m{)}^T$是$m$维随机变量，其均值$\mathbf{\mu }$是$$\mathbf{\mu }=E(\mathbf{x})=({\mu }_1,{\mu }_2,\cdots ,{\mu }_m{)}^T$$
其协方差矩阵$\Sigma$是$$\Sigma =cov(\mathbf{x},\mathbf{x})=E[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^T]$$

 考虑由$m$维随机变量$\mathbf{x}$到$m$维随机变量$\mathbf{y}=(y_1,y_2,\cdots ,y_m{)}^T$的线性变换$$y_i={\alpha }_i^T\mathbf{x}={\alpha }_{1i}{x}_1+{\alpha }_{2i}{x}_2+\cdots +{\alpha }_{mi}{x}_m$$
其中，${\alpha }_i^T=({\alpha }_{1i},{\alpha }_{2i},\cdots ,{\alpha }_{mi}),i=1,2,\cdots ,m$

 那么，由随机变量的性质可知: $$E(y_i)={\alpha }_i^T\mu ,i=1,2,\cdots ,m$$ $$var(y_i)={\alpha }_i^T\Sigma {\alpha }_i,i=1,2,\cdots ,m$$ $$cov(y_i,y_j)={\alpha }_i^T\Sigma {\alpha }_j,i=1,2,\cdots ,m;j=1,2,\cdots ,m$$

2.1 定义

 给定上述的线性变换，如果满足：

1. 系数向量${\alpha }_i^T$是单位向量，即${\alpha }_i^T{\alpha }_i=1,i=1,2,\cdots ,m$
2. 变量$y_i$与变量$y_j$互不相关，即$cov(y_i,y_j)=0(i!=j)$
3. 变量$y_1$是$\mathbf{x}$的所有线性变换中方差最大的；$y_2$是与$y_1$不相关的 $\mathbf{x}$的所有线性变换中方差最大的；一般的，$y_i$是与$y_1,y_2,\cdots ,y_{i-1}$都不相关的$\mathbf{x}$的所有线性变换中方差最大的；

这时分别称$y_1,y_2,\cdots ,y_m$为$\mathbf{x}$的第一主成分、第二主成分、……、第$m$主成分。

2.2 导出

 上述条件1表明线性变换是正交变换，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$是其一组标准正交基：$${\alpha }_i^T{\alpha }_i=\{\begin{array}{l}1,i=j\\ 0,i\ne j\end{array}$$

 条件2和3则给出了求主成分的方法：

1. 在$\mathbf{x}$的所有线性变换${\alpha }_1^T\mathbf{x}={\sum }_{i=1}^m{\alpha }_{i1}{x}_i$中，在${\alpha }_1^T{\alpha }_1=1$的条件下，求方差最大的，得到$\mathbf{x}$的第一主成分；
2. 在与${\alpha }_1^T\mathbf{x}$不相关的 $\mathbf{x}$的所有线性变换${\alpha }_2^T\mathbf{x}={\sum }_{i=1}^m{\alpha }_{i2}{x}_i$中，${\alpha }_2^T{\alpha }_2=1$的条件下，求方差最大的，得到$\mathbf{x}$的第二主成分；
3. 在第$k$步，在与${\alpha }_1^T\mathbf{x},{\alpha }_2^T\mathbf{x},\cdots ,{\alpha }_{k-1}^T\mathbf{x}$不相关的 $\mathbf{x}$的所有线性变换${\alpha }_k^T\mathbf{x}={\sum }_{i=1}^m{\alpha }_{ik}{x}_i$中，${\alpha }_k^T{\alpha }_k=1$的条件下，求方差最大的，得到$\mathbf{x}$的第$k$主成分；
4. 直到得到$\mathbf{x}$的第$m$主成分

2.3 主要性质

 设$\mathbf{x}$是$m$维随机变量，$\Sigma$是$\mathbf{x}$的协方差矩阵，$\Sigma$的特征值分别是${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_m\ge 0$，特征值对应的特征向量分别是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$，则$\mathbf{x}$的第$k$主成分是$$y_k={\alpha }_k^T\mathbf{x}={\alpha }_{1k}{x}_1+{\alpha }_{12k}{x}_2+\cdots +{\alpha }_{mk}{x}_m,k=1,2,\cdots ,m$$
$\mathbf{x}$的第$k$主成分的方差是$var(y_k)={\alpha }_k^T\Sigma {\alpha }_k={\lambda }_k,k=1,2,\cdots ,m$，即是协方差矩阵$\Sigma$的第$k$个特征值。（可用拉格朗日乘子法进行证明）

2.4 方差贡献率

 第$k$主成分$y_k$的方差贡献率定义为$y_k$的方差与所有方差之和的比，记做${\eta }_k$: $${\eta }_k=\frac{{\lambda }_k}{{\sum }_{i=1}^m{\lambda }_i}$$

 $k$个主成分$y_1,y_2,\cdots ,y_k$的累计方差贡献率定义为$k$个方差之和与所有方差之和的比$$\sum _{i=1}^k{\eta }_i=\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^m{\lambda }_i}$$

 通常取$k$使得累计方差贡献率达到规定的百分比以上。累计方差贡献率反映了主成分保留信息的比例，但它并不能反映对某个原有变量$x_i$保留信息的比例，这时通常利用$k$个主成分$y_1,y_2,\cdots ,y_k$对原有变量$x_i$的贡献率。

1.为什么要进行规范化？

 PCA通常是用于高维数据的降维，它可以将原来高维的数据投影到某个低维的空间上并使得其方差尽量大。如果数据其中某一特征（矩阵的某一列）的数值特别大，那么它在整个误差计算的比重上就很大，那么可以想象在投影到低维空间之后，为了使低秩分解逼近原数据，整个投影会去努力逼近最大的那一个特征，而忽略数值比较小的特征。因为在建模前我们并不知道每个特征的重要性，这很可能导致了大量的信息缺失。为了“公平”起见，防止过分捕捉某些数值大的特征，我们会对每个特征先进行标准化处理，使得它们的大小都在相同的范围内，然后再进行PCA。

 此外，从计算的角度讲，PCA前对数据标准化还有另外一个好处。因为PCA通常是数值近似分解，而非求特征值、奇异值得到解析解，所以当我们使用梯度下降等算法进行PCA的时候，我们最好先要对数据进行标准化，这是有利于梯度下降法的收敛。

2.方差最大理论：
 在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。

参考：《统计学习方法》第二版