PCA 的思路和推导

      PCA是一种较为常用的降维技术，PCA的思想是将n维特征映射到k维上，这k维是全新的正交特征。这k维特征称为主元，是重新构造出来的k维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。其中，第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选取的是与第一个坐标轴正交且具有最大方差的方向，依次类推，我们可以取到这样的k个坐标轴。

     

1、PCA的操作流程大致如下：

• 去平均值，即每一位特征减去各自的平均值
• 计算协方差矩阵
• 计算协方差矩阵的特征值与特征向量
• 对特征值从大到小排序
• 保留最大的个特征向量

• 将数据转换到个特征向量构建的新空间中
  
  

  PCA推导

      以下面这幅图开始我们的推导：

  
  

  上面是二维空间中的一组数据，很明显，数据的分布让我们很容易就能看出来主成分的轴（简称主轴）的大致方向。下面的问题就是如何通过数学计算找出主轴的方向。来看这张图：

  
  

  现在要做的事情就是寻找u1的方向，对于这点，我想好多人都有经验，这不就是以前用最小二乘法拟合数据时做的事情吗！对，最小二乘法求出来的直线（二维）的方向就是u1的方向！那u2的方向呢？因为这里是二维情况，所以u2方向就是跟u1垂直的方向，对于高维数据，怎么知道u2的方向？经过下面的理论推导，各个主轴都能确定下来。

      给定一组数据：（如无说明，以下推导中出现的向量都是默认是列向量）

                 

  将其中心化后表示为：

          
  

           

  中心化后的数据在第一主轴u1方向上分布散的最开，也就是说在u1方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法就是将x与u1做内积，由于只需要求u1的方向，所以设u1是单位向量。

  也就是最大化下式：

                                 
  

  也即最大化：

                     
  

  解释：平方可以把绝对值符号拿掉，光滑曲线处理起来方便。

  两个向量做内积可以转化成矩阵乘法：

                      
  

  所以目标函数可以表示为：

                                       
  

  括号里面就是矩阵乘法表示内积，转置以后的行向量乘以列向量得到一个数。因为一个数的转置还是其本身，所以又可以将目标函数化为：

                                   
  

  这样就可以把括号去掉！去掉以后变成：

                                    
  

  由于u1和i无关，可以把它拿到求和符外面：

                                   

  注意，其实括号里面是一个矩阵乘以自身的转置，这个矩阵形式如下：

                                  
  

  X矩阵的第i列就是xi，于是有：

                                   
  

  所以目标函数最后化为：

                                  
  

  上式到底有没有最大值呢？如果没有前面的1/n，那就是就是一个标准的二次型！并且XX'(为了方便，用'表示转置)得到的矩阵是一个半正定的对称阵！为什么？首先XX'是对称阵，因为(XX')'=XX'，下面证明它是半正定，什么是半正定？就是所有特征值大于等于0。

  假设XX'的某一个特征值为，对应的特征向量为，则有：

                                                                               
  

                                                                   
  

                                                                  
  

                        
  

                                                        
  

  证明完毕！对于半正定阵的二次型，存在最大值！现在问题就是如何求目标函数的最大值？以及取最大值时u1的方向？下面介绍两种方法。

  方法一  拉格朗日乘数法

  目标函数和约束条件构成了一个最大化问题：

                                                        
  

  构造拉格朗日函数：

                                     
  

  对u1求导

                                    
  

  显然，u1即为XX'特征值对应的特征向量！XX'的所有特征值和特征向量都满足上式，那么将上式代入目标函数表达式即可得到

                                        

  所以，如果取最大的那个特征值，那么得到的目标值就最大。有可能你会有疑问，为什么一阶导数为0就是极大值呢？那么再求二阶导数：

  
  

  二阶导数半负定，所以，目标函数在最大特征值所对应的特征向量上取得最大值！所以，第一主轴方向即为第一大特征值对应的特征向量方向。第二主轴方向为第二大特征值对应的特征向量方向，以此类推，证明类似。

PCA推导

    以下面这幅图开始我们的推导：

上面是二维空间中的一组数据，很明显，数据的分布让我们很容易就能看出来主成分的轴（简称主轴）的大致方向。下面的问题就是如何通过数学计算找出主轴的方向。来看这张图：

现在要做的事情就是寻找u1的方向，对于这点，我想好多人都有经验，这不就是以前用最小二乘法拟合数据时做的事情吗！对，最小二乘法求出来的直线（二维）的方向就是u1的方向！那u2的方向呢？因为这里是二维情况，所以u2方向就是跟u1垂直的方向，对于高维数据，怎么知道u2的方向？经过下面的理论推导，各个主轴都能确定下来。

    给定一组数据：（如无说明，以下推导中出现的向量都是默认是列向量）

               

将其中心化后表示为：

        

         

中心化后的数据在第一主轴u1方向上分布散的最开，也就是说在u1方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法就是将x与u1做内积，由于只需要求u1的方向，所以设u1是单位向量。

也就是最大化下式：

                               

也即最大化：

                   

解释：平方可以把绝对值符号拿掉，光滑曲线处理起来方便。

两个向量做内积可以转化成矩阵乘法：

                    

所以目标函数可以表示为：

                                     

括号里面就是矩阵乘法表示内积，转置以后的行向量乘以列向量得到一个数。因为一个数的转置还是其本身，所以又可以将目标函数化为：

                                 

这样就可以把括号去掉！去掉以后变成：

                                  

由于u1和i无关，可以把它拿到求和符外面：

                                 

注意，其实括号里面是一个矩阵乘以自身的转置，这个矩阵形式如下：

                                

X矩阵的第i列就是xi，于是有：

                                 

所以目标函数最后化为：

                                

上式到底有没有最大值呢？如果没有前面的1/n，那就是就是一个标准的二次型！并且XX'(为了方便，用'表示转置)得到的矩阵是一个半正定的对称阵！为什么？首先XX'是对称阵，因为(XX')'=XX'，下面证明它是半正定，什么是半正定？就是所有特征值大于等于0。

假设XX'的某一个特征值为，对应的特征向量为，则有：

                                                                             

                                                                 

                                                                

                      

                                                      

证明完毕！对于半正定阵的二次型，存在最大值！现在问题就是如何求目标函数的最大值？以及取最大值时u1的方向？下面介绍两种方法。

方法一  拉格朗日乘数法

目标函数和约束条件构成了一个最大化问题：

                                                      

构造拉格朗日函数：

                                   

对u1求导

                                  

显然，u1即为XX'特征值对应的特征向量！XX'的所有特征值和特征向量都满足上式，那么将上式代入目标函数表达式即可得到

                                      

所以，如果取最大的那个特征值，那么得到的目标值就最大。有可能你会有疑问，为什么一阶导数为0就是极大值呢？那么再求二阶导数：

二阶导数半负定，所以，目标函数在最大特征值所对应的特征向量上取得最大值！所以，第一主轴方向即为第一大特征值对应的特征向量方向。第二主轴方向为第二大特征值对应的特征向量方向，以此类推，证明类似。