LDA线性判别分析

算法思想

LDA是经典的有监督的降维方法。而我们的降维方法，一般都是将样本数据进行投射。LDA的思想就是将样本投射到一条直线上，使同类的样本点尽可能的接近，而异类的样本点尽可能的远离。如下图所示：

算法推导

假设我们的样本数据是$D = \left \{ (x_1,y_1), ..., (x_m,y_m) \right \}$ 其中$y_i \in \left \{ 0,1 \right \}$

我们假设$x_i, \mu_i, \Sigma_i$分别为第$i$类样本的集合，均值以及协方差矩阵。

我们将数据映射到w上，则两类样本的中心点在直线上的投影分别为$w^T\mu_0, w^T\mu_1$

将所有的数据投射到w上，则两类样本的协方差分别为$w^T\Sigma_0 w, w^T\Sigma_1 w$

根据LDA的思想：

同类的样本点尽可能的接近，而异类的样本点尽可能的远离

有：

式子$w^T\Sigma_0 w+ w^T\Sigma_1 w$要尽可能的小

式子$||w^T\mu_0 - w^T\mu_1 ||^2_2$要尽可能的大

因此我们的目标转化为最大化：

$J= \frac{||w^T\mu_0 - w^T\mu_1 ||^2_2}{w^T\Sigma_0 w+ w^T\Sigma_1 w} = \frac{w^T(\mu_0 - \mu_1) (\mu_0 - \mu_1)^T w}{w^T (\Sigma_0 + \Sigma_1) w}$

我们可以定义类内散度矩阵：

$S_w = \Sigma_0 + \Sigma_1 = \sum_{x \in x_0} (x- \mu_0)(x-\mu_0)^T + \sum_{x \in x_1} (x- \mu_1)(x-\mu_1)^T$

类间散度矩阵：

$S_b = (\mu_0 - \mu_1) (\mu_0 - \mu_1)^T$

所以优化目标变为：

$J= \frac{||w^T\mu_0 - w^T\mu_1 ||^2_2}{w^T\Sigma_0 w+ w^T\Sigma_1 w} = \frac{w^T(\mu_0 - \mu_1) (\mu_0 - \mu_1)^T w}{w^T (\Sigma_0 + \Sigma_1) w} = \frac{w^TS_b w}{w^T S_w w}$

下面我们的目标就是如何确定w。

上面的式子与w的大小无关，因此问题可以转换为：

$min_w \ -w^TS_bw$

$s.t. w^TS_ww =1$

利用拉个朗日乘子法，有：

$S_b w = \lambda S_w w$

由于$S_b = (\mu_0 - \mu_1) (\mu_0 - \mu_1)^T$，因此可以令：

$S_b = \lambda (\mu_0 - \mu_1)$

带如式子有：

$w =S_w^{-1} (\mu_0 - \mu_1)$

对$S_w$做奇异值分解：

$S_w = U \Sigma V^T$

所以有：

$S_w^{-1} = V \Sigma^{-1}U^T$

因此可以得到投影向量：

$w = V \Sigma^{-1}U^T (\mu_0 - \mu_1)$

多维场景

对于降维问题，如果降到多维的场景，可以如下处理：

$S_b W = \lambda S_w W$

有：

$S_w^-1 S_b W = \lambda W$

因此只需要对$S_w^-1 S_b$做特征值分解，得到的最大的特征值对应的特征向量组成的矩阵就是多维的投影向量。

多分类场景

如果是多分类(假设为$N$)问题，则只需要修改下式即可：

$S_b = \sum_{i = 1}^{N}m_i(\mu_0 - \mu_i) (\mu_0 - \mu_i)^T$

其中$m_i$为第例样本的个数。

最后说一句

特征值分解或者奇异值分解无处不在啊。