LDA线性判别分析

线性判别分析(Linear Discriminant Analysis)是一种经典的线性学习方法，在二分类问题上因为最早由Fisher提出，也称”Fisher判别分析”。
线性判别分析的思想朴素：给定训练数据集，设法将样本投影到直线上，使得同类样本的投影点尽可能接近、异类样本的投影点尽可能远离。在对新样本进行分类时，将其投影到同样的这条直线上，在根据投影点的位置来确定新样本的类别。
示意图如下：

给定训练数据集 $T=\{(x_i,y_i)\}_{i=1}^{m}$,$y_i \in \{0,1\}$.其中$x_i=(x_{i1},\cdots,x_{in})^{T}$为列向量。假设$X_0,X_1$分别表示两种类别的集合,$N_0,N_1$分别表示两种类别的个数，则两种类别的均值如下：

$$\mu_0=\frac{1}{N_0}\sum_{x\in X_0}x$$
$$\mu_1=\frac{1}{N_1}\sum_{x\in X_1}x$$
对于向量 $w$，向量$x$到 $w$的投影可以表示为$y=w^Tx$。则投影后的均值表示为：
$$\tilde{\mu}_0=\frac{1}{N_0}\sum_{x\in X_0}w^Tx=w^T\frac{1}{N_0}\sum_{x\in X_0}x=w^T\mu_0$$
同理， $\tilde{\mu}_1=w^T\mu_1$。投影后的均值也是均值的投影。
什么是最佳的直线呢？我们假设投影后的两类样本中心点尽量分离是最好的直线，定量表示为：
$$J(w)=|\tilde{\mu}_0 -\tilde{\mu}_1|=|w^T(\mu_0 - \mu_1)|$$
$J(w)$越大越好。
但是只考虑 $J(w)$是不行的，看下图。

投影到横轴上虽然中心点最远，但是两类样本存在重叠，投影到纵轴上，虽然距离短了，但是却可以分别出两种样本。因此，我们还要考虑样本的方差，方差越小，样本越难以分离。我们使用另一个度量值，称作散列值，对投影后的类求散列值，如下
$$\tilde{s}_i^2=\sum_{\tilde{x}\in \tilde{X}_i}(\tilde{x}-\tilde{\mu}_i)^2=\sum_{x\in X_i}(w^Tx-w^T \mu_i)^2$$
其中， $\tilde{X}_i$是 $X_i$在w上的投影。
散列值的几何意义是样本点的密集程度，值越大，越分散，值越小，越集中。
把散列值公式展开，得到
$$\begin{eqnarray} \tilde{s}_i^2 &=&\sum_{x\in X_i}(w^Tx-w^T\mu_i)^2 \\ &=&\sum_{x\in X_i}(w^Tx - w^T\mu_i)^T(w^Tx - w^T\mu_i) \\ &=&\sum_{x\in X_i}(w^Tx - w^T\mu_i)(w^Tx -w^T\mu_i)^T \\ &=&\sum_{x\in X_i}w^T(x-\mu_i)(x-\mu_i)^Tw \\ &=&w^T\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^Tw \end{eqnarray}$$

因为$(w^Tx - w^T\mu_i)^T(w^Tx - w^T\mu_i)$是一个实值，所以转置等于其本身。
记
$S_i=\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$,
这个矩阵和协方差矩阵只差一个常数倍，称为散列矩阵。
样本的协方差矩阵参见(协方差矩阵)
我们继续定义
$S_w=S_0+S_1$
则$S_w$称为”类内散度矩阵 (within-class sactter matrix)”。
则我们有
$\tilde{s}_0^2 + \tilde{s}_1^2 = w^T(S_0+S_1)w=w^TS_ww$。
然后，我们展开

$$\begin{eqnarray} (\tilde{\mu}_0-\tilde{\mu}_1)^2 &=& (w^T\mu_0-w^T\mu_1)^T(w^T\mu_0-w^T\mu_1) \\ &= &(w^T\mu_0-w^T\mu_1)(w^T\mu_0-w^T\mu_1)^T \\ &= &w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw \end{eqnarray}$$

令$S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$,
则$S_b$称为“类间散度矩阵(between-class scatter matrix)”。
则目标函数可以表示为

$$J(w)=\frac{w^TS_bw}{w^TS_ww}$$
这就是LDA欲最大化的目标，即 $S_b$与 $S_w$的”广义瑞利熵(generalized Rayleigh quotient)”。
如何求解 $w$呢?注意到$J(w)$的分子和分母都是关于 $w$的二次项，因此，其解和$w$的长度无关，只与其方向有关，不失一般性，令 $w^TS_ww=1$,得到
$\min\limits_w -w^TS_bw$
$s.t. w^TS_ww=1$.
由拉格朗日乘子法,假设 $f(w,\lambda)=w^TS_bw-\lambda (w^TS_ww-1)$,则有
$$\frac{\partial f}{\partial w}=2S_bw-2\lambda S_ww=0$$
$$\frac{\partial f}{\partial \lambda}=w^TS_ww-1=0$$
上式等价于
$S_bw=\lambda S_ww$
其中 $\lambda$为拉格朗日乘子.
$S_bw=(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw$,其中 $(\mu_0-\mu_1)^Tw$为常数。所以， $S_w$的方向恒为 $\mu_0-\mu_1$,不妨设
$S_bw=\lambda(\mu_0-\mu_1)$,
得到
$w=S_w^{-1}(\mu_0-\mu_1)$.
考虑到数值解的稳定性，在实践中，通常对 $S_w$进行奇异值分解，即 $S_w=U\Sigma V^T$,这里 $\Sigma$是一个对角矩阵，对角线上的元素为 $S_w$的奇异值，然后再由 $S_w^{-1}=V\Sigma^{-1}U^T$,得到 $S_w^{-1}$.

线性判别多分类
前面是针对的只有两个类的情况，假设类别变成多个，那么要怎么改变，才能保证投影后的类别能够分离呢？
我们之前讨论的是如何将n维降到一维，现在，假设存在N个类别，且第$i$个类别样本数为$m_i$,则有：$m=\sum_{i=1}^{N}m_i$。
假设需要K维向量来做投影。
将这K维向量表示为$W=(w_1,w_2,\cdots,w_K)$
我们将样本点在这K维向量投影后的结果表示为$y=(y_1,y_2,\cdots,y_K)^T$,有以下公式成立
$y_i=w_{i}^Tx$
$y=W^Tx$
接下来，我们定义多分类情况下下的类间散列度和类内散列度。
类内散列度矩阵定义$S_w$为每个类别的散列度矩阵之和,如下
$S_w=\sum_{i=1}^{N}S_{wi}$
其中，
$S_{wi}=\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$
$S_b$需要改变，原来度量的是两个均值点的散列程度，现在度量的是每类均值点相对于样本中心的散列程度。类似于将$\mu_i$看做第i类的中心点，$\mu$看做总体样本的中心点，如果某类里面的样本点较多，那么其权重稍大，权重用$m_i/m$，但由于$J(w)$对倍数不敏感，因此使用$m_i$.

$$S_b=\sum_{i=1}^{N}m_i(\mu_i-\mu)(\mu_i-\mu)^T$$
其中，
$\mu=\frac{1}{m}\sum_{x}x=\frac{1}{m}\sum_{i=1}^{N}m_i\mu_i$
则投影到第k(k=1,2,…K)维可以表示为：
$\tilde{\mu}_i=\frac{1}{m_i}\sum_{x\in X_i}w_k^Tx$
$\tilde{\mu}=\frac{1}{m}\sum_{x}w_k^Tx$
投影到第k维 的类内散度矩阵和类间散度矩阵分别为
$\tilde{S}_w=\sum_{i=1}^{N}\sum_{x\in X_i}(w_k^Tx-w_k^T\mu_i)(w_k^Tx-w_k^T\mu_i)^T$
$\tilde{S}_b=\sum_{i=1}^{N}m_i(w_k^T\mu_i-w_k^T\mu)(w_k^T\mu_i-w_k^T\mu)^T$
综合各个投影向量w上的 $S_w$, $S_b$，得到
$\tilde{S}_W=W^TS_wW$
$\tilde{S}_B=W^TS_bW$
W是基向量矩阵, $\tilde{S_W}$, $\tilde{S_B}$分别是投影后的类内散列度矩阵之和和各个类中心相对于全样本中心投影的类间散列度矩阵之和。
然而最后的 $J(W)$的形式是
$J(W)=\dfrac{\tilde{S_B}}{\tilde{S_W}}=\frac{|W^TS_bW|}{|W^TS_wW|}$
由于分子分母都是散列度矩阵，要将矩阵变为实数，需要取行列式。
固定分母为1，然后求导，得到 $S_bW=\lambda S_wW$,
得到 $W$的闭式解是$S_w^{-1}S_b$的N-1个最大广义特征值所对应的的特征向量组成的矩阵。

另一种推导的方式。
假设存在N个类别，且第i类的样本数为$N_i$，我们定义“全局散度矩阵”
$S_t=S_b+S_w=\sum_{i=1}^{m}(x_i-\mu)(x_i-\mu)^T$
其中，$\mu$为所有样本的均值。
类内散度矩阵 $S_w$定义为每个类别的散度矩阵的
$S_w=\sum_{i=1}^{N}S_{wi}$,
其中$S_{wi}=\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$.
则类间散度定义为
$S_b=S_t-S_w$
$=\sum_{i=1}^{m}(x_i-\mu)(x_i-\mu)^T-\sum_{i=1}^{N}\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$
$=\sum_{i=1}^{N}\sum_{x\in X_i}(x-\mu)(x-\mu)^T-\sum_{i=1}^{N}\sum_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$
$=\sum_{i=1}^{N}\sum_{x\in X_i}[(x-\mu)(x-\mu)^T-(x-\mu_i)(x-\mu_i)^T]$
$=\sum_{i=1}^{N}\sum_{x\in X_i}[x(\mu_i^T-\mu)+(\mu_i-\mu)x^T+(\mu\mu^T-\mu_i\mu_i^T)]$
$=\sum_{i=1}^{N}[N_i\mu_i(\mu_i^T-\mu)+N_i(\mu_i-\mu)\mu_i^T+N_i((\mu\mu^T-\mu_i\mu_i^T)]$
$=\sum_{i=1}^{N}N_i(\mu_i-\mu)(\mu_i-\mu)^T$.
后面的步骤和上面类似。

参考文档：
线性判别分析（Linear Discriminant Analysis）
《机器学习》周志华