PCA主成分分析

动机Motivation

• 许多的数据都处在相对低维的流形中，相较于原始的数据空间
• 例如如图所示的数字图片：
  • 都是将一个变换后的数字嵌入到100 * 100的图片中
  • 所以实际需要使用100 * 100进行表示
  • 但可以看到仅仅是做了随机的水平变换，垂直变换，旋转变换
  • 可以将这三个维度的潜在属性看作是三个隐变量
    
• 数据生成过程：先在流形上根据某个分布选择一点（这个分布称为潜在分布），再在输入空间中根据某个条件分布生成一个点
  • 最简单的：假设潜在和观测变量都是服从高斯分布
    • PCA!
• 应用：数据压缩，可视化，特征提取，降维

主成分分析

两种等价定义

• 将数据通过正交投影，投影到低维的线性空间中。使得投影之后数据的方差最大化。
• 等价定义：线性投影，使得平均的投影产生的损失最小化。损失被定义为原始数据点与投影数据点他们之间距离的均方误差。 如图所示，即下图所示蓝线中距离的平方和求平均。
  

定义1-最大化方差的角度

设{xn}\{\mathbf x_n\}{xn​}为数据向量的集合。其中每一个元素为D维向量。
目标是将数据投影到一个维度为$M<D$的空间中，并最大化投影数据的方差。

• 现在，设$M$是已知的。
• 但是，$M$的选择是具备指导准则的。
• 先考虑一维空间的情况：
  • 定义这个空间的方向，使用向量${\mathbf{u}}_1$，满足${\mathbf{u}}_1^T{\mathbf{u}}_1=1$
  • 对于每个数据点${\mathbf{x}}_n$，投影到这个一维方向上的值为${\mathbf{u}}_1^T{\mathbf{x}}_n$
  • 于是投影后所有数据点的均值为$$\overline{\mathbf{x}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$
  • 于是投影后所有数据点的方差为$$\frac{1}{N}\sum _{n=1}^N({\mathbf{u}}_1^T{\mathbf{x}}_n-{\mathbf{u}}_1^T\overline{\mathbf{x}}{)}^2$$
  • 而数据协方差矩阵为$$S=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-\overline{\mathbf{x}})({\mathbf{x}}_n-\overline{\mathbf{x}}{)}^T$$
  • 将上式写成转置成原本的形式，再注意到一些为标量的数据，很容易得到：$$\frac{1}{N}\sum _{n=1}^N({\mathbf{u}}_1^T{\mathbf{x}}_n-{\mathbf{u}}_1^T\overline{\mathbf{x}}{)}^2={\mathbf{u}}_1^{T}S{\mathbf{u}}_1$$
  • 我们的目标是关于${\mathbf{u}}_1$最大化方差，而注意到先前约束了${\mathbf{u}}_1^T{\mathbf{u}}_1=1$.因此这是一个约束优化问题。引入拉格朗日乘子$\lambda$变成无约束优化问题$$ma{x}_{{\mathbf{u}}_1}{\mathbf{u}}_1^{T}S{\mathbf{u}}_1+\lambda (1-{\mathbf{u}}_1^T{\mathbf{u}}_1)$$
  • 令导数等于0，得到：$$S{\mathbf{u}}_1=\lambda {\mathbf{u}}_1$$这表明了${\mathbf{u}}_1$是协方差矩阵$S$的特征向量。将上式左乘${\mathbf{u}}_1^T$就得到了上述最大化方差的结果${\mathbf{u}}_{1}S{\mathbf{u}}_1=\lambda$.
  • 这表明了如果想要使得方差最大,${\mathbf{u}}_1$必须是协方差矩阵最大的特征值对应的特征向量。
    • 这个对应的特征向量被称之为第一主成分
• 对于其他的主成分而言，只需要：
  • 最大化方差
  • 和已有的所有方向都正交即内积等于0
  • 用数学归纳法很容易证明考虑$M$维的空间，我们的主成分为协方差矩阵$S$的M个最大特征值所对应的M个特征向量

定义2：最小化均方误差角度

• 考虑D维空间中的完全标准正交基向量集合{ui}\{\mathbf u_i\}{ui​}，其中$i=1,2,\cdots D$并且满足${\mathbf{u}}_i^T{\mathbf{u}}_j={\delta }_{ij}$
• 于是每个数据点都能够以该基向量进行表示$${\mathbf{x}}_n=\sum _{i=1}^D{\alpha }_{ni}{\mathbf{u}}_i$$
• 由于基向量的正交性，显然有：${\alpha }_{ni}={\mathbf{x}}_n^T{\mathbf{u}}_i$.于是可以将上述式子写作$${\mathbf{x}}_n=\sum _{i=1}^D({\mathbf{x}}_n^T{\mathbf{u}}_i){\mathbf{u}}_i$$
• 对于每一个数据点，使用${\tilde{\mathbf{x}}}_n$用于近似真实的数据点${\mathbf{x}}_n$。其中前者定义为$${\tilde{\mathbf{x}}}_n=\sum _{i=1}^M{z}_{ni}{\mathbf{u}}_i+\sum _{i=M+1}^D{b}_i{\mathbf{u}}_i$$.其中每一个$z_{ni}$取决于每一个数据点，而$b_i$对于每个数据点都是相同的。
  • 标准正交基不唯一，$z_{ni}，b_i$都是需要我们自己定义的
• 近似的损失函数被定义为$$J=\frac{1}{N}\sum _{n=1}^N||{\mathbf{x}}_n-{\tilde{x}}_n|{|}^2$$
  • 因此针对于${\mathbf{u}}_i,z_{ni},b_i$最小化该损失函数。
  • 首先考虑$z_{nj}$并令导数等于0取得:$$z_{nj}={\mathbf{x}}_n^T{\mathbf{u}}_j,j\in 1,2\cdots M$$
  • 同样的方式考虑$b_j$，得到$$b_j={\overline{\mathbf{x}}}^T{\mathbf{u}}_j$$
  • 将目标函数中的所有$z_{ni}$和$b_j$替换掉，并利用上述推导的${\mathbf{x}}_n={\sum }_{i=1}^D({\mathbf{x}}_n^T{\mathbf{u}}_i){\mathbf{u}}_i$，得到xn−x~n=∑i=M+1D{(xn−x‾)Tui}ui\mathbf x_n - \widetilde{\mathbf x}_n = \sum_{i = M+1}^D \{(\mathbf x_n - \overline{\mathbf x})^T \mathbf u_i\}\mathbf u_ixn​−xn​=i=M+1∑D​{(xn​−x)Tui​}ui​

    • 需要注意上式中用花括号括起来的部分为标量

    • 可以看到，这个差值组成的向量所在的空间和主成分空间即$u_1,u_2,\cdots u_M$张成的空间是相互正交关系。这是因为投影后的点${\tilde{\mathbf{x}}}_n$一定要处于主成分空间中，但是可以在那个子空间中自由移动。

    • 例如如图所示的两个点，他们的差值向量和原主成分空间方向相互正交
      

  • 将上面所有的式子带入损失函数后，得到下面的结果：
    于是最后的任务是对向量${\mathbf{u}}_i$优化。
  • 注意这个优化必须是有约束的
    • 否则$u_i$全为0向量
  • 先考虑$D=2$,$M=1$情形即选择方向${\mathbf{u}}_2$使得上述式子最小。约束条件是${\mathbf{u}}_2^T{\mathbf{u}}_2=1$.使用拉格朗日乘子法得到$S{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_2$.此时$J={\lambda }_2$,${\lambda }_2$显然应该是$S$较小的那个特征值
  • 为什么这里不含u1Tu2=0
  • 一般情形下，就选择$D-M$个较小的特征值，得到J的最小值即$J={\sum }_{i=M+1}^D{\lambda }_i$
  • 注意：这种方法并没给出用于降维的$M$个基向量，但是由于给出了D-M个剩余的基向量，D个向量组成标准正交基，所以这M个向量张成的空间也确定了。
    • 所以对于数据点$x_n$而言，其在这M个基向量张成的空间中的投影是唯一确定的，为$\sum (x_n^T{u}_i)u_i$,这一算出来的结果和最大方差对应基向量求出的是一致的，因为其求出的M个基向量张成的空间与这个是一致的
    • 所以只需要使得这M个基向量与D-M个基向量分别正交，并且这M个基向量两两正交，并且模长为1.任取一组M个满足条件的基向量作为降维的基向量即可
    • 当然，在最大方差的角度中特殊的可以去协方差矩阵S的M个最大特征值对应的特征向量！
    • 换句话说，PCA只用给出主成分空间即可，每个数据点在该空间中的正交投影是唯一的。至于这组空间中的标准正交基可以任意选取。最大方差角度只是自己选择了一套特殊的这组空间的标准正交基。
• 最后，提及在主成分分析中，可以存在$M=D$的情形
  • 不做降维，仅仅是作坐标轴的旋转而使得原始数据的坐标轴对齐主成分坐标轴。

应用

数据压缩与重建

考察$${\tilde{\mathbf{x}}}_n=\sum _{i=1}^M{z}_{ni}{\mathbf{u}}_i+\sum _{i=M+1}^D{b}_i{\mathbf{u}}_i$$
将上述PCA推导出的$z_{ni}$和$b_i$进行带入后得到
$${\tilde{\mathbf{x}}}_n=\sum _{i=1}^M({\mathbf{x}}_n^T{\mathbf{u}}_i){\mathbf{u}}_i+\sum _{i=M+1}^D({\overline{\mathbf{x}}}^T{\mathbf{u}}_i){\mathbf{u}}_i\Delta$$
由于$u_1,u_2\cdots u_n$为一组标准的，完备的正交基，于是：
$${\mathbf{u}}_i^T\overline{\mathbf{x}}=\sum _{j=1}^D{{\mathbf{u}}_{\mathbf{i}}}^T({\overline{\mathbf{x}}}^T{\mathbf{u}}_j){\mathbf{u}}_j$$
这是因为中间的数是标量，且向量组的正交和完备性。上式左右两侧左乘${\mathbf{u}}_i$得到$$\overline{\mathbf{x}}=\sum _{j=1}^D({\overline{\mathbf{x}}}^T{\mathbf{u}}_j){\mathbf{u}}_j$$
于是$\Delta$式可以写作：$${\tilde{\mathbf{x}}}_n=\overline{\mathbf{x}}+\sum _{i=1}^M({\mathbf{x}}_n^T{\mathbf{u}}_i-{\overline{\mathbf{x}}}^T{\mathbf{u}}_i){\mathbf{u}}_i$$
上式表示了重建数据的方法。对于每一个数据点，只需保存其对应主成分的系数即${\mathbf{x}}_n^T{\mathbf{u}}_i-{\overline{\mathbf{x}}}^T{\mathbf{u}}_i$，共有M个。而原始数据维度为D。这就实现了降维！

数据预处理

• 标准化数据的一些属性

将式子$$S{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$$
改写成矩阵形式$$SU=UL\Delta$$
其中U的每一列对应向量$u_i$，L是由$\lambda$特征值组成的对角矩阵，且显然$U$是正交矩阵
对于每一个数据点${\mathbf{x}}_n$,一个被转化后的值由如下式子给出:
$${\mathbf{y}}_n=L^{-\frac{1}{2}}{U}^T({\mathbf{x}}_n-\overline{\mathbf{x}})$$
由于$$\sum _{n=1}^N{\mathbf{y}}_n=L^{-\frac{1}{2}}{U}^T(\sum _{n=1}^N{\mathbf{x}}_n-N\overline{\mathbf{x}})=0$$
因此转换后的数据具有0均值。即$\overline{\mathbf{y}}=0$
又由于$$covmatrix=\frac{1}{N}\sum _{n=1}^N({\mathbf{y}}_n-\overline{\mathbf{y}})({\mathbf{y}}_n-\overline{\mathbf{y}}{)}^T$$
将${\mathbf{y}}_n$以及均值为0带入，并注意得到$\Delta$式，可以得出
$$covmatrix=I$$即协方差矩阵为对角阵。

• 以上数据预处理的步骤称为白化$(whitening)$

性质分析

考虑上述经过主成分分析后得到的基${\mathbf{u}}_1,{\mathbf{u}}_2,{\mathbf{u}}_3,\cdots ,{\mathbf{u}}_D$,分别对应观测数据协方差矩阵D个从大到小排序的特征值对应的特征向量。对于一个给定的数据点${\mathbf{x}}_n$，利用${\mathbf{u}}_i^T{\mathbf{x}}_n$即可算出对应的主成分。再将所有的观测数据堆叠成一个矩阵$X$，维度为(d,N),其中N是数据点样本维度。

• 在进行主成分分析时，一般都假定样本矩阵$X$是规范化的。如果没有规范化，作如下变换：
  $$x_{ij}^{\ast }=\frac{x_{ij}-{\overline{x}}_j}{\sqrt{s_{ii}}}$$
  其中$$\sqrt{s_{ii}}=\sqrt{\frac{1}{n-1}\sum _{j=1}^n(x_{ij}-{\overline{x}}_i{)}^2}$$
  这样做完后，显然同一个维度而言，其均值为0，方差为$1$
• 在经过规范化后，很容易得出样本的协方差矩阵$S$的定义为：
  $$S=\frac{1}{n}X{X}^T$$因为均值等于0的缘故
• 设得到的基${\mathbf{u}}_1,{\mathbf{u}}_2,{\mathbf{u}}_3,\cdots ,{\mathbf{u}}_D$，将其排列成上述正交矩阵$U$。则对于所有样本组成的矩阵而言，其变换结果为$U^T\mathbf{X}$。
• 由方差最大的角度的推导过程，可知变换后的每一个维度有最大的方差
• 但是，对于不同的维度而言，情况如何？
  • 考察维度$i$与$j$，满足$i\ne j$,即矩阵$U^{T}X$的第i行和第j行。其分别由式子${\mathbf{u}}_i^{T}X$和式子${\mathbf{u}}_j^{T}X$所确定！
  • 考察样本的协方差矩阵的第i行和第j列，其由式子
    $$\frac{1}{n}\sum _{p=1}^N({\mathbf{u}}_i^T{\mathbf{x}}_p-{\mathbf{u}}_i^T\overline{\mathbf{x}})({\mathbf{u}}_j^T{\mathbf{x}}_p-{\mathbf{u}}_j^T\overline{\mathbf{x}})=u_i^{T}S{u}_j$$ 确定
  • 由于满足$S{u}_j=\lambda u_j$，因此上述式子为0
  • 即变换后不同维度之间是不相关的