机器学习笔记之主成分分析（PCA）

机器学习笔记之主成分分析（PCA）

主成分分析（principle components analysis ,PCA）是比较基础的机器学习算法，主要是通过保留数据的特征来进行编码与解码。
　　假设在${\mathbb{R}}^n$空间中有$m$个点{x(1),x(2),⋯ ,x(m)}\{x^{(1)},x^{(2)},\cdots,x^{(m)}\}{x(1),x(2),⋯,x(m)},我们希望对这些点进行压缩。压缩的目的是我们可以使用更少的内存来储存这些数据，但是同时又希望压缩损失的信息（精度）尽可能少。
　　编码这些点的一种方式就是使用低维表示。对于每个$x^{(i)}\in {\mathbb{R}}^n$,会有一个对应的编码向量$c^{(i)}\in {\mathbb{R}}^l$。如果$l$比$n$小，那么我们就可以使用更少的内存来储存数据。我们希望找到一个编码函数，根据输入返回编码，$f(x)=c$,同时我们也希望找到一个解码函数，给定编码能够重构输入，$x\approx (f(x))$。
　　具体来说，我们可以使用一个矩阵乘法将编码器映射回${\mathbb{R}}^n$，即$g(c)=Dc$,其中$D\in {\mathbb{R}}^{n\times l}$是定义解码的矩阵。但是这存在一个小问题，有可能存在多个解。因为如果我们按比例地缩小所有点对应的编码向量$c^{(i)}$，那么只需要按比例放大$D_{:i}$，即可以保持结果不变。为了使问题有唯一解，我们限制$D$中所有列向量都有单位范数。为了简化问题，PCA 限制 $D$的列向量彼此正交。
　　那么我们如何选择一个根据每一个输入$\mathbf{x}$得到最优编码${\mathbf{c}}^{\ast }$?一种最常见的方法就是最小化原始输入向量$\mathbf{x}$和重构向量$g({\mathbf{c}}^{\ast })$之间的距离，使用范数来衡量它们之间的距离。常用$L^2$范数，即$${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }\Vert \mathbf{x}-g({\mathbf{c}}^{\ast }){\Vert }_2$$我们可以使用平方$L^2$范数替代$L^2$范数。因为二者在相同的值c上取得最小值。
$$\begin{array}{rl}{\mathbf{c}}^{\ast }& =\arg \underset{c}{\min }\Vert \mathbf{x}-g({\mathbf{c}}^{\ast }){\Vert }_2^2=\arg \underset{c}{\min }(\mathbf{x}-g({\mathbf{c}}^{\ast }{)}^T(\mathbf{x}-g({\mathbf{c}}^{\ast }))\\ & =\arg \underset{c}{\min }{\mathbf{x}}^T\mathbf{x}-{\mathbf{x}}^{T}g(\mathbf{c})-\underset{\text{标量}}{\underbrace{g(\mathbf{c}{)}^T\mathbf{x}}}+g(\mathbf{c}{)}^{T}g(\mathbf{c})\\ & =\arg \underset{c}{\min }\underset{\text{与c无关}}{\underbrace{{\mathbf{x}}^T\mathbf{x}}}-2{\mathbf{x}}^{T}g(\mathbf{c})+g(\mathbf{c}{)}^{T}g(\mathbf{c})\\ & \Rightarrow \arg \underset{c}{\min }-2{\mathbf{x}}^{T}g(\mathbf{c})+g(\mathbf{c}{)}^{T}g(\mathbf{c})\\ & =\arg \underset{c}{\min }-2{\mathbf{x}}^{\mathbf{T}}\mathbf{D}\mathbf{c}+{\mathbf{c}}^T{D}^{T}D\mathbf{c}\\ & =\arg \underset{c}{\min }-2{\mathbf{x}}^{\mathbf{T}}\mathbf{D}\mathbf{c}+{\mathbf{c}}^T{I}_l\mathbf{c}\\ & =-2{\mathbf{x}}^{\mathbf{T}}\mathbf{D}\mathbf{c}+{\mathbf{c}}^T\mathbf{c}\end{array}$$对$c$求导，$$\begin{gathered} \nabla (-2{\mathbf{x}}^{\mathbf{T}}\mathbf{D}\mathbf{c}+{\mathbf{c}}^T\mathbf{c})=0\Rightarrow -2{\mathbf{D}}^{T}x+2c=0\Rightarrow \mathbf{c}={\mathbf{D}}^{T}x \\ \therefore f(x)={\mathbf{D}}^{T}x \end{gathered}$$
进一步使用矩阵乘法，我们可以定义重构操作：$r(x)=g(f(x))={\mathbf{D}\mathbf{D}}^{T}x$，因为重构要求最小化所有维数和所有点上的误差矩阵的Frobenius范数：$$\begin{array}{rl}& {\mathbf{D}}^{\ast }=\arg \underset{D}{\min }\sqrt{\sum _{i,j}(x_j^{(i)}-r(x^{(i)}{)}_j{)}^2}\\ & subjectto{D}^{T}D=I_l\end{array}$$
为了简化推导，首先考虑$l=1$的情况。此时$D$简化为一个单一向量$d$，即$$\begin{array}{rl}& {\mathbf{d}}^{\ast }=\arg \underset{d}{\min }\sum _i\Vert {\mathbf{x}}^{(i)}-\mathbf{d}\underset{\text{标量}}{\underbrace{{\mathbf{d}}^T{\mathbf{x}}^{(i)}}}{\Vert }_2^2\\ & =\arg \underset{d}{\min }\sum _i\Vert {\mathbf{x}}^{(i)}-{\mathbf{d}}^T{\mathbf{x}}^{(i)}\mathbf{d}{\Vert }_2^2\\ & =arg\underset{d}{\min }\sum _i\Vert {\mathbf{x}}^{(i)}-{\mathbf{x}}^{(i)T}\mathbf{d}\mathbf{d}{\Vert }_2^2\\ & subjectto\Vert \mathbf{d}{\Vert }_2=1\end{array}$$将各点的向量写成矩阵形式，记为$X\in {\mathbb{R}}^{m\times n}$,其中$X_{I,:}={\mathbf{x}}^{(i)T}$
$\therefore {\mathbf{d}}^{\ast }=\arg \underset{d}{\min }\Vert \mathbf{X}-{\mathbf{X}\mathbf{d}\mathbf{d}}^T{\Vert }_F^2，subjectto{\mathbf{d}\mathbf{d}}^T=1$
$又\begin{array}{r}\because \Vert A{\Vert }_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}，Tr(A)=\sum _i{A}_{i,i},\Vert A{\Vert }_F=\sqrt{Tr(A{A}^T)}\end{array}$
$\therefore \begin{array}{rl}{\mathbf{d}}^{\ast }& =\arg \underset{d}{\min }\Vert \mathbf{X}-{\mathbf{X}\mathbf{d}\mathbf{d}}^T{\Vert }_F^2=\arg \underset{d}{\min }Tr\left(\right(\mathbf{X}-{\mathbf{X}\mathbf{d}\mathbf{d}}^T{)}^T(\mathbf{X}-{\mathbf{X}\mathbf{d}\mathbf{d}}^T))\\ & =\arg \underset{d}{\min }Tr({\mathbf{X}}^{\mathbf{T}}\mathbf{X}-{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}}-\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}})\\ & =\arg \underset{d}{\min }\underset{与d无关}{\underbrace{Tr({\mathbf{X}}^{\mathbf{T}}\mathbf{X}}})-Tr({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}})-Tr(\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X})+Tr(\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}})\\ & \Rightarrow \arg \underset{d}{\min }-Tr\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}}\right)-Tr\left(\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\right)+Tr\left(\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}}\right)\\ & =\arg \underset{d}{\min }-2Tr\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}}\right)++Tr\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}\underset{{\mathbf{d}}^{\mathbf{T}}\mathbf{d}=1}{\underbrace{{\mathbf{d}}^{\mathbf{T}}\mathbf{d}}}{\mathbf{d}}^{\mathbf{T}}\right)\\ & =\arg \underset{d}{\min }-Tr({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}})=\arg \underset{d}{\max }Tr({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}})\\ & =\arg \underset{d}{\max }Tr({\mathbf{d}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{d})\end{array}$
$\therefore$矩阵$X^{T}X$的最大特征值所对应的特征向量就是$\mathbf{d}$,同理可得矩阵D就是由前$l$个最大的特征值所对应的特征向量构成。