机器学习（十二）——主成分分析(PCA)

12.主成分分析(PCA)

PCA主要是去除相关联特征中的噪声，从而使得关联特征数量转化为同一平面(直线)，从而达到降纬的目的。也就是寻找数据变更主轴。

应用：

• 可视化
• 压缩数据
• 提高机器学习速度
• 减少过拟合
• 异常检测
• 距离计算

例如我们有一个关于飞行员水平数据集，其中一个特征代表飞行员对飞行的热情，另一个特征代表飞行员飞行水平。这两个特征很可能是线性相关的，但是由于数据中存在噪声的影响导致这两个特征的关联性看起来不强。如下图所示。

在$u_1$方向代表数据的主方向，在$u_2$方向代表数据的噪声。我们需要的就是将数据映射到主方向$u_1$上，这样便将二维数据转化为一维上的数据，从而达到了降维的目的。

在运行PCA之前我们还需要对数据进行一些处理：如下所示：

1. 设$\mu =\frac{1}{m}{\sum }_{i=1}^m{x}^{(i)}$
2. 将每个 $x^{(i)}$ 替换成 $x^{(i)}-\mu$
3. 设${\sigma }_j^2=\frac{1}{m}{\sum }_i(x_j^{(i)}{)}^2$
4. 将每个 $x_j^{(i)}$ 替换成 $x_j^{(i)}/{\sigma }_j$.

第$(1-2)$步把数据的平均值清零，然后可以省略掉所有有零均值的数据（例如，对应语音或者其他声学信号的时间序列）。第$(3-4)$步将每个坐标缩放，使之具有单位方差，这确保了不同的属性都在同样的“尺度”上来进行处理。例如，如果 $x_1$ 是汽车的最大速度（以 mph 为单位，精确到十位），然后 $x_2$ 是汽车的座位数量（取值一般在 2-4），这样这个重新正则化就把不同的属性进行了缩放，然后这些不同属性就更具有对比性。如果我们事先已经知道不同的属性在同一尺度上，就可以省略第$(3-4)$步。例如，如果每个数据点表示灰度图像中的每个数据点，而每个 $x_j^{(i)}$ 就从 { 0 , 1 , . . . , 255 } \{0, 1, . . . , 255\} {0,1,...,255} 中取值，对应的也就是在图像 $i$ 中像素 $j$ 位置的灰度值。

下面我们开始寻找方向$u_1$,我们如何去寻找呢？在信息论中，信号和噪声的方差是不同的，噪声的方差偏小，信号之间的方差偏大。所以我们应该尽可能的去保证数据在投影之后的方差尽可能的大，从而保证了信息的完整性。我们知道：

假设样本为向量$x$,方向单位向量为$u$，两向量之间的夹角为$\theta$，所以将$x$投影到$u$上的向量$u^{\prime }$为$u\cdot cos\theta$，则$u^{\prime }$的模长为$|u^{\prime }|=x\cdot u$.由于之前样本数据都减去了均值，所以投影后的均值依旧为0。于是我们可以得出方差为：
$$\begin{array}{rl}\frac{1}{m}\sum _{i=1}^m(x^{(i)T}u{)}^2& =\frac{1}{m}\sum _{i=1}^m{u}^T{x}^{(i)}{x}^{(i)T}u\\ & =u^T(\frac{1}{m}\sum _{i=1}^m{x}^{(i)}{x}^{(i)T})u\end{array}$$
也就是我们要将以上的式子最大化。需要注意的是：需要满足约束$||u|{|}_2=1$等价于$u^{T}u=1$.所以这是一个规划问题，我们可以用拉个朗日乘数法求解这个最大值。

同时如果我们将上式子写作如下形式：$u^T\Sigma u=\lambda$，因为$u^{T}u=1$ ，所以转化为$\Sigma u=\lambda u$(两边同乘$u^T$).也就是说向量 $u$ 是 $\Sigma$ 的特征向量，特征值为 $\lambda$。

如果假设求出的特征向量（单位向量、正交基）是$u_1,...,u_k$，则$x^{(i)}$可映射为：
$$y^{(i)}=\left[\begin{array}{c}{u}_1^T{x}^{(i)}\\ u_2^T{x}^{(i)}\\ ⋮\\ u_k^T{x}^{(i)}\end{array}\right]\in R^k$$
因此，$x^{(i)}\in R^n$，向量 $y^{(i)}$就是对 $x^{(i)}$ 的近似表示。

SVD(奇异值分解)

通过上面的说明我们可以知道，$\Sigma =\frac{1}{m}{\sum }_{i=1}^m{x}^{(i)}{x}^{(i)T}$,所以我们不妨改写为：

首先令$X$:
$$X=\left[\begin{array}{ccc}—& {x^{(1)}}^T& —\\ —& {x^{(2)}}^T& —\\ & ⋮& \\ —& {x^{(m)}}^T& —\end{array}\right]$$
则$\Sigma$:
$$\Sigma =\left[\begin{array}{cccc}|& |& & |\\ x^{(1)}& x^{(2)}& \cdots & x^{(m)}\\ |& |& & |\end{array}\right]\left[\begin{array}{ccc}—& {x^{(1)}}^T& —\\ —& {x^{(2)}}^T& —\\ & ⋮& \\ —& {x^{(m)}}^T& —\end{array}\right]=X^{T}X$$

SVD

假设有矩阵$X\in {\mathbb{R}}^{m\times n}$($m$是样本数，$n$是特征数)，则矩阵可以写成
$$X=U\Sigma V^T$$
其中$U\in {\mathbb{R}}^{m\times m},\Sigma \in {\mathbb{R}}^{m\times n},V\in {\mathbb{R}}^{m\times n}$(注意这里的$\Sigma$和上面的不相关)。U和V都是正交基方阵，即满足$U^{T}U=I,V^{T}V=I$,$\Sigma$是除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值。

我们可以发现：
$$X^{T}X=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$$
可以看出$X^{T}X$的特征向量组成矩阵$V$，同理$X{X}^T$的特征向量组成了矩阵$U$。

一般我们将右侧$V$的特征向量称为右奇异向量，左侧$U$的特征向量称为左奇异向量。

我们可以得到：
$$\begin{gathered} (A^{T}A)v_i={\lambda }_i{v}_i \\ (A{A}^T)u_i={\lambda }_i{u}_i \end{gathered}$$
所以可以推出：
$$\begin{array}{rl}A& =U\Sigma V^T\\ AV& =U\Sigma V^{T}V\\ AV& =U\Sigma \\ A{v}_i& ={\sigma }_i{u}_i\end{array}$$
得到${\sigma }_i{u}_i=A{v}_i$之后便可求出${\sigma }_i$(等式的左右都是成比例的列向量)

由于
$$X^{T}X=V{\Sigma }^2{V}^T$$
所以可以知道
$${\sigma }_i=\sqrt{{\lambda }_i}$$
所以我们可以通过求奇异值的方法来求PCA中矩阵的特征，降低计算量。

小结：

	概率估计算法	非概率算法
子空间	因子分析法	PCA降维
数据在团块中	混合高斯	K-means