KPCA原理及部分代码

KPCA，中文名称”核主成分分析“，是对PCA算法的非线性扩展。PCA是线性的，其对于非线性数据往往显得无能为力（虽然这二者的主要目的是降维，而不是分类，但也可以用于分类），其中很大一部分原因是，KPCA能够挖掘到数据集中蕴含的非线性信息。

一、KPCA较PCA存在的创新点：

1. 为了更好地处理非线性数据，引入非线性映射函数，将原空间中的数据映射到高维空间，注意，这个是隐性的，我们不知道，也不需要知道它的具体形式是啥。

2. 引入了一个定理：空间中的任一向量（哪怕是基向量），都可以由该空间中的所有样本线性表示，这点对KPCA很重要，我想大概当时那个大牛想出KPCA的时候，这点就是它最大的灵感吧。话说这和”稀疏“的思想比较像。

二、公式推导

假设D（D >> d）维向量为高维空间中的特征向量，为对应的特征值，高维空间中的PCA如下：

     （1）   

将特征向量利用样本集合线性表示，如下：

 （2）  

然后，在把代入上上公式，得到如下的形式：

 （3）  

进一步，等式两边同时左乘，得到如下公式：

 （4）  

这样做的目的是，构造两个出来，进一步用核矩阵K（为对称矩阵）替代，其中：

  （5）

第二个等号，是源于核函数的性质，核函数比较多，有如下几种：

（1）线性核函数