机器学习(五)降维

机器学习(五)降维

5.1 PCA
用$d\prime$维向量表示$d$维向量样本，使得降维后的数据与源数据平方误差最小（投影到低维子空间中，使得原始数据在这个子空间的各个方向方差最大化）

从最大重构性推导：
  假设样本进行了中心化，$\sum_ix_i=0$，假设投影变换后得到的新坐标系为$\{w_1,w_2,...,w_{d\prime}\}$，标准正交基，样本点$x_i$低纬投影为为$z_i=\{z_{i1},z_{i2},...,z_{id\prime}\}$，其中$z_{ij}=w_j^Tw_i$是$x_i$在低纬坐标下第$j$维的坐标，若基于$z_i$来构建$x_i$，则会得到$\hat x_i=\sum_{j=1}^{d\prime}z_{ij}w_j$
  有 $W, d\times d\prime$，$z_i=W^Tx_i$

$$\begin{align} \sum_{i=1}^m||\sum_{j=1}^{d\prime}z_{ij}w_j-x_i||_2^2=&\sum_{i=1}^m||Wz_i-x_i||_2^2\notag\\ =&\sum_{i=1}^m(Wz_i-x_i)^T(Wz_i-x_i)\notag\\ =&\sum_{i=1}^mz_i^TW^TWz_i-2\sum_{i=1}^mz_i^TW^Tx_i+const\notag\\ =&\sum_{i=1}^mz_i^Tz_i-2\sum_{i=1}^mz_i^TW^Tx_i+const\notag\\ =&\sum_{i=1}^mx_i^TWW^Tx_i-2\sum_{i=1}^mx_i^TWW^Tx_i+const\notag\\ =&-\sum_{i=1}^mx_i^TWW^Tx_i+const\notag\\ &\propto -tr(W^T(\sum_{i=1}^mx_ix_i^T)W) \tag{5.1.1} \end{align}$$
目标函数为：
$$\begin{align} &\min_W -tr(W^TXX^TW) \notag\\ &s.t. W^TW=I \tag{5.1.2} \end{align}$$

从最大可分性推导：
样本点在空间超平面的投影是$W^Tx_i$，若使所有样本点尽可能分开，则应使投影样本方差最大化
样本点投影方差是$\max_W\sum_{i=1}^m W^Tx_ix_i^TW$
于是优化目标为：

$$\begin{align} &\max_W tr(W^TXX^TW) \notag\\ &s.t. W^TW=I \tag{5.1.3} \end{align}$$

使用拉个朗日乘子法

$$L(W;\lambda)=tr(W^TXX^TW)+\lambda I- \lambda W^TW\tag{5.1.4}$$
$$\frac{\partial L}{\partial W} = 2XX^TW-2\lambda W\tag{5.1.5}$$
上式等于0，可得
$$XX^TW=\lambda W$$

于是只需要对协方差矩阵$X^TX$进行特征值分解，对特征进行排序，取前$d\prime$个特征值对应的特征向量构成$W=\{w_1,w_2,...,w_{d\prime}\}\tag{5.1.6}$

$d\prime$选取方式，指定$d\prime$，或根据如下阈值

$$\frac{\sum_{i=1}^{d\prime}\lambda_i}{\sum_{i=1}^{d}\lambda_i}\geq t\tag{5.1.7}$$

特点：
  少数特征值可以表示原数据中的绝大部分信息，剩下的小特征被认为是数据噪音 给丢掉
  适用于变量线性相关 但其未使用Label 无监督 线性关系
  以方差衡量信息的无监督学习，不受样本标签限制，
  各主成分之间正交，可消除原始数据成分间的相互影响
  计算方法简单，易于实现。

缺点：
  特征根的大小决定了我们感兴趣信息的多少。即小特征根往往代表了噪声，但实际上，向小一点的特征根方向投影也有可能包括我们感兴趣的数据；
  特征向量的方向是互相正交（orthogonal）的，这种正交性使得PCA容易受到Outlier的影向
  主成分解释其含义往往具有一定的模糊性，不如原始样本完整
  贡献率小的主成分往往可能含有对样本差异的重要信息
  特征值矩阵的正交向量空间是否唯一有待讨论
  无监督学习

  PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。但是这样投影以后对数据 的区分作用并不大，反而可能使得数据点揉杂在一起无法区分。

5.2 LDA
LDA线性判别分心(Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分

投影到一条直线上，同类尽可能近，异类尽可能远

二分类：
  给定数据集$D={(x_i,y_i)}_{i=1}^m,y_i\in \{0,1\}$，令$X_i,\mu_i,\Sigma_i$分别表示第$i\in \{0,1\}$类示例的集合、均值向量、协方差矩阵
  将其投影 得到两类样本中心$w^T\mu_0$，$w^T\mu_1$，将其所有样本点投影到直线得到两类样本的协方差为$w^T\Sigma_0w$、$w^T\Sigma_1w$
  同类样例的投影点尽可能近，可以让同类样例协方差竟可能小 $w^T\Sigma_0w+w^T\Sigma_1w$
  异类样例的投影点尽可能远，可以上类中心二等距离尽可能的大$||w^T\mu_0+w^T\mu_1||^2_2$

目标函数：

$$J=\frac{||w^T\mu_0-w^T\mu_1||^2_2}{w^T\Sigma_0w+w^T\Sigma_1w}=\frac{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\Sigma_0+\Sigma_1)w}\tag{5.2.1}$$
定义类内散度矩阵
$$S_w=\Sigma_0+\Sigma_1=\sum_{x\in X_0}(x-\mu_0)(x-\mu_0)^T+\sum_{x\in X_1}(x-\mu_1)(x-\mu_1)^T\tag{5.2.2}$$
定义类间散度矩阵
$$S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T\tag{5.2.3}$$
改写目标函数
$$J=\frac{w^TS_bw}{w^TS_ww}\tag{5.2.4}$$

LDA最大化为如上目标函数，这个目标函数又称为$S_b,S_w$的广义瑞利商
分子分母均存在$w^Tw$，$w$的长度与解无关，令$w^TS_ww=1$，则将目标函数等价于

$$\begin{align} &\min_w-w^TS_bw\notag\\ &s.t. w^TS_ww=1\tag{5.2.5} \end{align}$$

使用拉格朗日乘子法：

$$J(w,\lambda)=-w^TS_bw+\lambda(w^TS_ww-1)\tag{5.2.6}$$
$S_b$对称，固：
$$\frac{\partial w^TS_bw}{\partial w}=2S_bw\tag{5.2.7}$$
$$\frac{\partial J}{\partial w}=-2S_bw+2\lambda S_ww=0\tag{5.2.8}$$
可得到：
$$S_bw=\lambda S_ww\tag{5.2.9}$$
由于$S_bw=(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw$是标量，方向恒为$\mu_0-\mu_1$，不妨令$S_bw=\lambda(\mu_0-\mu_1)$代入$(5.2.9)$
可得：
$$w=S_w^{-1}(\mu_0-\mu_1)\tag{5.2.10}$$
考虑数值解的稳定性，通常进行奇异值分解，$S_w=U\Sigma V^T$，之后$S_w^{-1}=U\Sigma^{-1} V^T$，即可得最佳投影方向

如何降维？：
  由(5.2.9)，得$S_w^{-1}S_bw=\lambda w$
  对于矩阵$S_w^{-1}S_b$的最大d个特征值对应的d个特征${w_1, w_2, ...w_d}$组成投影矩阵W
  对于每一个样本$x_i$，$z_i=W^Tx_i$

多分类:
全局散度矩阵定义:

$$S_t=S_b+S_w=\sum_{i=1}^m(x-\mu)(x_i-\mu)^T\tag{5.2.11}$$
$$S_w=\sum_{i=1}^NS_{w_i}\tag{5.2.12}$$
其中：
$$S_{w_i}=\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T\tag{5.2.13}$$
由$5.2.12与5.2.13$，$m_i$为类i的个数
$$S_b=S_t-S_w=\sum_{i=1}^Nm_i(\mu_i-\mu)(\mu_i-\mu)^T\tag{5.2.14}$$
优化目标为：
$$\max_W=\frac{tr(W^TS_bW)}{tr(W^TS_wW)}$$
W的闭式解为$S_w^{-1}S_bw$的最大N-1(l类别数-1)个特征值对应的特征向量

优点：
  在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。
  LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优

缺点：
  不适用于非高斯分布样本进行降维(PCA也是)，PCA一般要进行whitening
  LDA降维最多降到类别数k-1的维数
  LDA可能过度拟合数据。
  LDA在样本分类信息依赖方差而不是均值的时候，较PCA之类的算法差

PCA是为了去除原始数据集中冗余的维度，让投影子空间的各个维度的方差尽可能大，也就是熵尽可能大。LDA是通过数据降维找到那些具有discriminative的维度，使得原始数据在这些维度上的投影，不同类别尽可能区分开来。

5.3 LLE 流行学习
  一种非线性降维算法，它能够使降维后的数据较好地保持原有 流形结构 ，试图保持邻域内样本的线性关系，可以通过领域内样本重构

$$\begin{align} &\min_{w_1,w_2,...,w_n}\sum_{i=1}^m||w_i-\sum_{j\in Q_i}w_{ij}x_j||^2_2 \notag\\ &s.t. \sum_{j\in Q_i}w_{ij}=1\tag{5.3.1} \end{align}$$
$Q_i$为$x_i$的近邻下集合，令$C_{jk}=(x_i-x_j)^T(x_i-x_k)$，$w_{ij}$有闭式解：
$$w_{ij}=\frac{\sum_{k\in Q_i}C_{jk}^{-1}}{\sum_{l,s\in Q_i}C_{ls}^{-1}}\tag{5.3.2}$$
LLE在低维子空间中$w_i$不变，于是可以通过如下表达式求解：
$$\min_{z_1,z_2,...,z_n}\sum_{i=1}^m||z_i-\sum_{j\in Q_i}w_{ij}z_j||^2_2 \tag{5.3.3}$$