LDA PCA

线性判别式

  LDA(线性判别式)思想：给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点都尽可能的接近，异类样例的投影点都尽可能的远离。也就是—”投影后类内方差最小，类间方差最大”。

  $\bullet$欲使同类样例的投影点尽可能的近，可以让同类的样例投影点的协方差尽可能的小。
  $\bullet$欲使异类样例的投影点尽可能的远，可以让异类的样例投影的中心距离尽可能的大。
  由于是两类数据，因此我们只需要将数据投影到一条直线上即可。假设我们的投影直线是向量$w$,则对任意一个样本本$x_i$,它在直线$w$的投影为$w^Tx_i$,对于我们的两个类别的中心点$\mu_0,\mu_1$,在在直线$w$的投影为$w^T\mu_0$和$w^T\mu_1$。由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化$||w^T\mu_0-w^T\mu_1||_2^2$,同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差$w^T\Sigma_0w$和$w^T\Sigma_1w$尽可能的小，即最小化$w^T\Sigma_0w+w^T\Sigma_1w$。综上所述，我们的优化目标为：

$$\underbrace{arg\;max}_w\;\;J(w) = \frac{||w^T\mu_0-w^T\mu_1||_2^2}{w^T\Sigma_0w+w^T\Sigma_1w} = \frac{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\Sigma_0+\Sigma_1)w}$$

  我们一般定义类内散度矩阵$S_w$为：

$$S_w = \Sigma_0 + \Sigma_1 = \sum\limits_{x \in X_0}(x-\mu_0)(x-\mu_0)^T +\sum\limits_{x \in X_1}(x-\mu_1)(x-\mu_1)^T$$
  同时定义类间散度矩阵$S_b$为： $$S_b = (\mu_0-\mu_1)(\mu_0-\mu_1)^T$$
  这样我们的优化目标重写为： $$\underbrace{arg\;max}_w\;\;J(w) = \frac{w^TS_bw}{w^TS_ww}$$
这就是LDA的最大化目标，即$S_b$与$S_w$的“广义瑞利商”。这样LDA问题就转化为求取最大特征向量的问题
补： 瑞利商函数是指，R(x)是A的瑞利商：$R(x) = \frac{x^HAx}{x^Hx}$
  广义瑞利商函数是指，R(x)是A相对于B的广义瑞利商：$R(A) = \frac{x^HAx}{x^HBx}$

特征降维–主成分分析PCA

  在进行图像的特征提取的过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗系统资源，不得不采用特征降维的方法。所谓特征降维，即采用一个低纬度的特征来表示高纬度。特征降维一般有两类方法：特征选择和特征抽取。特征选择即从高纬度的特征中选择其中的一个子集来作为新的特征；而特征抽取是指将高纬度的特征经过某个函数映射至低纬度作为新的特征。常用的特征抽取方法就是PCA。
下面举一个简单的例子，说明PCA的过程。
  假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。
  首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01)。
  现在我们开始求样本的协方差矩阵，由于我们是二维的，则协方差矩阵为：

$$\mathbf{XX^T} =\left( \begin{array}{ccc}cov(x_1,x_1) cov(x_1,x_2)\\cov(x_2,x_1) cov(x_2,x_2) \end{array} \right)$$   对于我们的数据，求出协方差矩阵为：

$$\mathbf{XX^T} =\left( \begin{array}{ccc}0.616555556 &0.615444444\\0.615444444 &0.716555556 \end{array} \right)$$   求出特征值为（0.490833989， 1.28402771），对应的特征向量分别为：$(0.735178656, 0.677873399)^T\;\; (-0.677873399, -0.735178656)^T$,由于最大的k=1个特征值为1.28402771，对于的k=1个特征向量为$(-0.677873399, -0.735178656)^T$. 则我们的W=$(-0.677873399, -0.735178656)^T$
  我们对所有的数据集进行投影$z^{(i)}=W^Tx^{(i)}$，得到PCA降维后的10个一维数据集为：(-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)
PCA（Principal Component Analysis）不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。主要步骤：
  1.特征中心化。即每一维的数据都减去该维的均值。
  2.计算B的协方差矩阵C.
  3.计算协方差矩阵C的特征值和特征向量。
  4.选取大的特征值对应的特征向量，得到新的数据集。
PCA算法的主要优点有：
   $\bullet$仅仅需要以方差衡量信息量，不受数据集以外的因素影响。　
   $\bullet$各主成分之间正交，可消除原始数据成分间的相互影响的因素。
   $\bullet$计算方法简单，主要运算是特征值分解，易于实现。
  PCA算法的主要缺点有：
   $\bullet$主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强
   $\bullet$方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。