主成分分析

前言

花书第一章的实例内容
主成分分析 （principal components analysis，PCA）是一个简单的机器学习算法，可以通过简单的线性代数知识推导。

问题说明

假设在 ${\mathbb{R}}^n$ 空间中有m个点 { x ( 1 ) , ⋯   , x ( m ) } \{\boldsymbol{x}^{(1)},\cdots,\boldsymbol{x}^{(m)}\} {x(1),⋯,x(m)} ,现希望对这些点进行有损压缩（使用更少的内存，但损失一些精度去存储这些点）。损失的精度尽可能的少。

编码这些点的一种方式是用低维表示。对每个点 ${\mathbf{x}}^{(i)}\in {\mathbb{R}}^n$ ，会有一个对应的编码向量 ${\mathbf{c}}^{(i)}\in {\mathbb{R}}^l$。如果 $l<n$ ，那么我们便使用了更少的内存来存储原来的数据。

我们希望找到一个编码函数，根据输入返回编码，$f(\mathbf{x})=\mathbf{c}$ ;
我们也希望找到一个解码函数，给定编码重构输入， $\mathbf{x}\approx g(f(\mathbf{x}))$

PCA由我们选择的解码函数而定，具体来讲，为了简化解码器，我们使用矩阵乘法将编码映射回 ${\mathbb{R}}^n$ ，即
$$g(\mathbf{c})=\mathbf{D}\mathbf{c}\text{\hspace{1em}(0)}$$
其中 $\mathbf{D}\in {\mathbb{R}}^{n\times l}$ 是定义解码的矩阵

到目前为止，所描述的问题可能有很多个解。因为如果按比例地缩小所有点对应的编码向量 $c_i$ ，那么只需要按比例放大
${\mathbf{D}}_{:,i}$ ，即可保持结果不变，为了使问题有唯一解，限制 $\mathbf{D}$ 中所有列向量都有单位范数

计算这个解码器的最优解码器可能是一个困难的问题。为了使编码问题简单一些，PCA 限制 $\mathbf{D}$ 中所有的列向量彼此正交（除非 $l=n$ ,否则严格意义上 $\mathbf{D}$ 不是一个正交矩阵）

公式推导

首先，确定如何根据每一个输入 $\mathbf{x}$ 得到一个最优编码 ${\mathbf{c}}^{\ast }$。
这里通过最小化原始输入向量 $\mathbf{x}$ 和 重构向量$g({\mathbf{c}}^{\ast })$ 之间的距离。
在PCA算法中，使用 $L^2$ 范数

$${\mathbf{c}}^{\ast }=\begin{array}{c}\\ argmin\\ c\end{array}\Vert \mathbf{x}-g(\mathbf{c}){\Vert }_2\text{\hspace{1em}(1)}$$

用平方 $L^2$ 范数替代 $L^2$ 范数

因为 $L^2$ 范数是非负的，并且平方运算在 $[0,\infty )$ 上单调递增，所以两者在相同的值 $\mathbf{c}$ 上取得最小值

得到

$$\begin{array}{ll}{\mathbf{c}}^{\ast }& =\begin{array}{c}\\ argmin\\ c\end{array}\Vert \mathbf{x}-g(\mathbf{c}){\Vert }_2^2\\ & =\begin{array}{c}\\ argmin\\ c\end{array}(\mathbf{x}-g(\mathbf{c}){)}^T(\mathbf{x}-g(\mathbf{c}))\\ & =\begin{array}{c}\\ argmin\\ c\end{array}({\mathbf{x}}^T\mathbf{x}-{\mathbf{x}}^{T}g(\mathbf{c})-g(\mathbf{c}{)}^T\mathbf{x}+g(\mathbf{c}{)}^{T}g(\mathbf{c}))\\ & =\begin{array}{c}\\ argmin\\ c\end{array}({\mathbf{x}}^T\mathbf{x}-2{\mathbf{x}}^{T}g(\mathbf{c})+g(\mathbf{c}{)}^{T}g(\mathbf{c}))\end{array}\text{\hspace{1em}(2)}$$

$\text{公式2运算中使用的知识点:}$
$1.两个向量的点积可以用范数来表示，有：$
${\mathbf{x}}^T\mathbf{y}=\Vert \mathbf{x}{\Vert }_2\Vert \mathbf{y}{\Vert }_2\cos \theta$
$其中\theta 表示\mathbf{x}\text{和}\mathbf{y}的夹角$
$此时有$
${\mathbf{x}}^T\mathbf{x}=\Vert \mathbf{x}{\Vert }_2\Vert \mathbf{x}{\Vert }_2\cos 90^{\circ }=\Vert \mathbf{x}{\Vert }_2^2$
$2.矩阵加法乘法运算的性质：$
$(\mathbf{A}+\mathbf{B}{)}^T={\mathbf{A}}^T+{\mathbf{B}}^T$
$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{A}\mathbf{C}$
$3.两个向量的点积满足交换律：$
${\mathbf{x}}^T\mathbf{y}={\mathbf{y}}^T\mathbf{x}$

由于求最优参数${\mathbf{c}}^{\ast }$ 使得 $\Vert \mathbf{x}-g(\mathbf{c})|{|}_2^2$ 最小 所以 与${\mathbf{x}}^T\mathbf{x}$ 无关。并且把 $g(\mathbf{c})=\mathbf{D}\mathbf{c}$ 进行带入公式（2）得到

$$\begin{array}{ll}{\mathbf{c}}^{\ast }& =\begin{array}{c}\\ argmin\\ c\end{array}-2{\mathbf{x}}^{T}g(\mathbf{c})+g(\mathbf{c}{)}^{T}g(\mathbf{c}))\\ & =\begin{array}{c}\\ argmin\\ c\end{array}-2{\mathbf{x}}^T\mathbf{D}\mathbf{c}+{\mathbf{c}}^T{\mathbf{D}}^T\mathbf{D}\mathbf{c}\\ & =\begin{array}{c}\\ argmin\\ c\end{array}-2{\mathbf{x}}^T\mathbf{D}\mathbf{c}+{\mathbf{c}}^T{\mathbf{I}}_l\mathbf{c}\\ & =\begin{array}{c}\\ argmin\\ c\end{array}-2{\mathbf{x}}^T\mathbf{D}\mathbf{c}+{\mathbf{c}}^T\mathbf{c}\end{array}\text{\hspace{1em}(3)}$$

$由矩阵\mathbf{D}的正交性和单位范数约束，有{\mathbf{D}}^T\mathbf{D}={\mathbf{I}}_l$

由于凸函数在一阶导数为0的点处取得极小值，由式（3）有：

$$\begin{array}{rl}{\nabla }_{\mathbf{c}}(-2{\mathbf{x}}^T\mathbf{D}\mathbf{c}+{\mathbf{c}}^T\mathbf{c})& =0\\ -2{\mathbf{D}}^T\mathbf{x}+2\mathbf{c}& =0\\ \mathbf{c}& ={\mathbf{D}}^T\mathbf{x}\end{array}\text{\hspace{1em}(4)}$$

此时，由公式(0) 、公式（4）及编码函数和解码函数的定义有：
$$编码函数：f(\mathbf{x})=\mathbf{c}={\mathbf{D}}^T\mathbf{x}\text{\hspace{1em}(5)}$$

---

$$定义PCA重构操作，解码函数：\begin{array}{rl}r(\mathbf{x})& =g(f(\mathbf{x}))\\ & =g(\mathbf{c})\\ & =\mathbf{D}\mathbf{c}\\ & =\mathbf{D}{\mathbf{D}}^T\mathbf{x}\end{array}\text{\hspace{1em}(6)}$$

下面需要挑选编码矩阵 $\mathbf{D}$ 。回顾最小化输入和重构之间 $L^2$ 距离。 因为是使用相同矩阵 $\mathbf{D}$ 对所有点进行解码，不能再孤立地看待每个点。相反，必须最小化所有维数和所有点上的误差矩阵的 Frobenius 范数：
$${\mathbf{D}}^{\ast }=\begin{array}{c}\\ argmin\\ {}_{\mathbf{D}}\end{array}\sqrt{\sum _{i,j}({\mathbf{x}}_j^{(i)}-r({\mathbf{x}}^{(i)}{)}_j{)}^2}subjectto{\mathbf{D}}^T\mathbf{D}={\mathbf{I}}_l\text{\hspace{1em}(7)}$$

考虑 $l=1$ ，此时 $\mathbf{D}$ 是一个单一向量 $\mathbf{d}$。记 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$, 其中 ${\mathbf{X}}_{i,:}={\mathbf{x}}^{(i{)}^T}$， 我们将式(7)写成矩阵形式：

$$\begin{array}{rl}{\mathbf{d}}^{\ast }& =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}{\Vert {\mathbf{X}-\mathbf{X}\mathbf{d}\mathbf{d}}^T\Vert }_F^{2}subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}Tr\left({\left({\mathbf{X}-\mathbf{X}\mathbf{d}\mathbf{d}}^T\right)}^T\left({\mathbf{X}-\mathbf{X}\mathbf{d}\mathbf{d}}^T\right)\right)subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}Tr\left({\mathbf{X}}^T\mathbf{X}-{\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T-{\mathbf{d}\mathbf{d}}^T{\mathbf{X}}^T\mathbf{X}+{\mathbf{d}\mathbf{d}}^T{\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T\right)subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}Tr({\mathbf{X}}^T\mathbf{X})-Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)-Tr({\mathbf{d}\mathbf{d}}^T{\mathbf{X}}^T\mathbf{X})+Tr({\mathbf{d}\mathbf{d}}^T{\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}Tr({\mathbf{X}}^T\mathbf{X})-2Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)+Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T{\mathbf{d}\mathbf{d}}^T)subjectto{\mathbf{d}}^T\mathbf{d}=1\end{array}\text{\hspace{1em}(8)}$$

$\text{公式8运算中使用的知识点:}$
$1.标量与向量乘积运算中，标量放在向量的左边或右边都可以，结合标量的转置等于它本身，$
$可以根据美观的需要对公式进行重排$
$2.通过矩阵的迹运算描述矩阵Frobenius范数：$
$\Vert \mathbf{A}{\Vert }_F=\sqrt{Tr({\mathbf{A}\mathbf{A}}^T)}=\sqrt{Tr({\mathbf{A}}^T\mathbf{A})}$
$3.矩阵迹的运算性质：$
$$Tr(\mathbf{A}+\mathbf{B})=Tr(\mathbf{A})+Tr(\mathbf{B})$$

$$\begin{array}{c}\mathrm{Tr}(\prod _{i=1}^n{\mathbf{F}}^{(i)})=\mathrm{Tr}({\mathbf{F}}^{(n)}\prod _{i=1}^{n-1}{\mathbf{F}}^{(i)})\\ 循环改变迹运算中相乘的顺序不影响结果\end{array}$$

式（8）去除不相关的项（$Tr({\mathbf{X}}^T\mathbf{X})$与$\mathbf{d}$无关 ），并且结合约束条件 ${\mathbf{d}}^T\mathbf{d}=1$ 有：

$$\begin{array}{rl}{\mathbf{d}}^{\ast }& =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}-2Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)+Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T{\mathbf{d}\mathbf{d}}^T)subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}-2Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)+Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmin\\ {}_{\mathbf{d}}\end{array}-Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)subjectto{\mathbf{d}}^T\mathbf{d}=1\\ & =\begin{array}{c}\\ argmax\\ {}_{\mathbf{d}}\end{array}Tr({\mathbf{X}}^T{\mathbf{X}\mathbf{d}\mathbf{d}}^T)subjectto{\mathbf{d}}^T\mathbf{d}=1\end{array}\text{\hspace{1em}(9)}$$

公式（9）的优化问题可以通过特征分解来求解可得，即最优的 $\mathbf{d}$ 是 ${\mathbf{X}}^T\mathbf{X}$ 最大特征值对应的特征向量。

上述推导特征与 $l=1$ 的情况，仅得到了第一个主成分