[监督学习]线性判别式分析(LDA)

线性判别式算法（LDA）

LDA算法和PCA算法都是一种数据压缩的算法，由于前者属于无监督学习而后者属于监督学习，根据任务的不同，因而它们的侧重点不同，PCA算法关心的是原数据与新数据之间的最小重构误差，而LDA算法关注的是数据压缩后类别间的区分度。

从上图中可以看出，LDA算法希望找到一个投影的方向，使得类别间中心点尽可能分散，而每一类的样本尽可能聚集，如果说PCA算法的优化准则是最小重构误差，则LDA的准则就是最小化类内方差、最大化类间均值。

那我们该如何去选择这个投影方向呢？我们不妨先从数学原理出发。

假设样本数据共分为 $K$ 类，每一类的样本数目分别为 $N_1,N_2,\cdots ,N_K$ ，设 ${\mathbf{x}}_{\mathbf{k}}^1,{\mathbf{x}}_{\mathbf{k}}^2,\cdots ,{\mathbf{x}}_{\mathbf{k}}^{{\mathbf{N}}_{\mathbf{k}}}$ 分别为第 $k$ 类的样本。对于任何一个样本 $\mathbf{x}$ ，设 $\tilde{\mathbf{x}}$ 为 $\mathbf{x}$ 投影后的样本点。

则有 $\tilde{\mathbf{x}}=<\mathbf{x},\mathbf{u}>\mathbf{u}=({\mathbf{x}}^T\mathbf{u})\mathbf{u}$ 。

如何描述类内方差？

我们接下来首先去描述投影后的第 $k$ 类样本的方差。
$$\begin{array}{rl}{S}_k& =\frac{1}{N_k}\sum _{\tilde{\mathbf{x}}\in D_k}(\tilde{\mathbf{x}}-{\tilde{\mathbf{m}}}_k{)}^T(\tilde{\mathbf{x}}-{\tilde{\mathbf{m}}}_k)\\ & =\frac{1}{N_k}\sum _{\mathbf{x}\in D_k}[({\mathbf{x}}^T\mathbf{u})\mathbf{u}-({\mathbf{m}}_k^T\mathbf{u})\mathbf{u}{]}^T[({\mathbf{x}}^T\mathbf{u})\mathbf{u}-({\mathbf{m}}_k^T\mathbf{u})\mathbf{u}]\\ & =\frac{1}{N_k}\sum [({\mathbf{x}}^T\mathbf{u}{)}^2{\mathbf{u}}^T\mathbf{u}-2({\mathbf{m}}_k^T\mathbf{u})({\mathbf{x}}^T\mathbf{u}){\mathbf{u}}^T\mathbf{u}+({\mathbf{m}}_k^T\mathbf{u}{)}^2{\mathbf{u}}^T\mathbf{u}]\\ & =\frac{1}{N_k}{\mathbf{u}}^T\mathbf{u}\sum [({\mathbf{x}}^T\mathbf{u}{)}^2-2({\mathbf{m}}_k^T\mathbf{u})({\mathbf{x}}^T\mathbf{u})+({\mathbf{m}}_k^T\mathbf{u}{)}^2]\\ & =\frac{a}{N_k}\sum [({\mathbf{x}}^T\mathbf{u}{)}^2-2({\mathbf{m}}_k^T\mathbf{u})({\mathbf{x}}^T\mathbf{u})+({\mathbf{m}}_k^T\mathbf{u}{)}^2]\\ & =a[\frac{\sum ({\mathbf{x}}^T\mathbf{u}{)}^2}{N_k}-2\frac{\sum ({\mathbf{m}}_k^T\mathbf{u})({\mathbf{x}}^T\mathbf{u})}{N_k}+\frac{\sum ({\mathbf{m}}_k^T\mathbf{u}{)}^2}{N_k}]\\ & =a[\frac{\sum ({\mathbf{x}}^T\mathbf{u})({\mathbf{x}}^T\mathbf{u})}{N_k}-2\frac{\sum ({\mathbf{m}}_k^T\mathbf{u})({\mathbf{x}}^T\mathbf{u})}{N_k}+({\mathbf{m}}_k^T\mathbf{u}{)}^2]\\ & =a[\frac{\sum {\mathbf{u}}^T\mathbf{x}{\mathbf{x}}^T\mathbf{u}}{N_k}-2\frac{\sum {\mathbf{x}}^T}{N_k}\mathbf{u}{\mathbf{m}}_k^T\mathbf{u}+({\mathbf{m}}_k^T\mathbf{u}{)}^2]\\ & =a[{\mathbf{u}}^T\frac{\sum \mathbf{x}{\mathbf{x}}^T}{N_k}\mathbf{u}-{\mathbf{u}}^T{\mathbf{m}}_k{\mathbf{m}}_k^T\mathbf{u}]\\ & =a{\mathbf{u}}^T(\frac{\sum \mathbf{x}{\mathbf{x}}^T}{N_k}-{\mathbf{m}}_k{\mathbf{m}}_k^T)\mathbf{u}\end{array}$$
其中，$D_k$ 表示第 $k$ 类的样本集合，投影后的样本中心为 ${\tilde{\mathbf{m}}}_k$ ，原样本的中心为 ${\mathbf{m}}_k=\frac{\sum \mathbf{x}{\mathbf{x}}^T}{N_k}$ ，由于 $\mathbf{u}$ 重在它的方向性，因此不妨设它的大小为 ${\mathbf{u}}^T\mathbf{u}=a$ 。

而对于整个算法来说，投影后所有类别的类内方差为
$$\begin{array}{rl}\sum _{k=1}^K{S}_k& =a\sum _{k=1}^K{\mathbf{u}}^T(\frac{\sum \mathbf{x}{\mathbf{x}}^T}{N_k}-{\mathbf{m}}_k{\mathbf{m}}_k^T)\mathbf{u}\\ & =a{\mathbf{u}}^T\sum _{k=1}^K(\frac{\sum \mathbf{x}{\mathbf{x}}^T}{N_k}-{\mathbf{m}}_k{\mathbf{m}}_k^T)\mathbf{u}\end{array}$$
令 $\sum _{k=1}^K(\frac{\sum \mathbf{x}{\mathbf{x}}^T}{N_k}-{\mathbf{m}}_k{\mathbf{m}}_k^T)={\mathbf{S}}_{\mathbf{w}}$ ,则有
$$\sum _{k=1}^K{S}_k=a{\mathbf{u}}^T{\mathbf{S}}_{\mathbf{w}}\mathbf{u}$$

如何描述类间距离？

而对于投影后任意两个类别间的距离，有
$$\begin{array}{rl}{S}_{i,j}& =({\tilde{\mathbf{m}}}_i-{\tilde{\mathbf{m}}}_j{)}^T({\tilde{\mathbf{m}}}_i-{\tilde{\mathbf{m}}}_j)\\ & =[({\mathbf{m}}_i^T\mathbf{u})\mathbf{u}-({\mathbf{m}}_j^T\mathbf{u})\mathbf{u}{]}^T[({\mathbf{m}}_i^T\mathbf{u})\mathbf{u}-({\mathbf{m}}_j^T\mathbf{u})\mathbf{u}]\\ & =[({\mathbf{m}}_i^T\mathbf{u}){\mathbf{u}}^T-({\mathbf{m}}_j^T\mathbf{u}){\mathbf{u}}^T][({\mathbf{m}}_i^T\mathbf{u})\mathbf{u}-({\mathbf{m}}_j^T\mathbf{u})\mathbf{u}]\\ & =({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T\mathbf{u}{\mathbf{u}}^T\mathbf{u}({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T\mathbf{u}\\ & =a({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T\mathbf{u}({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T\mathbf{u}\\ & =a{\mathbf{u}}^T({\mathbf{m}}_i-{\mathbf{m}}_j)({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T\mathbf{u}\end{array}$$
投影后所有类别间的距离为
$$\begin{array}{rl}\sum _{i,j且i\ne j}{S}_{i,j}& =\sum _{i,j且i\ne j}a{\mathbf{u}}^T({\mathbf{m}}_i-{\mathbf{m}}_j)({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T\mathbf{u}\\ & =a{\mathbf{u}}^T[\sum _{i,j且i\ne j}({\mathbf{m}}_i-{\mathbf{m}}_j)({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T]\mathbf{u}\end{array}$$
令 $$\begin{gathered} \sum _{i,j \\ i\ne j}({\mathbf{m}}_i-{\mathbf{m}}_j)({\mathbf{m}}_i-{\mathbf{m}}_j{)}^T={\mathbf{S}}_{\mathbf{b}} \end{gathered}$$ ，有
$$\sum _{i,j且i\ne j}{S}_{i,j}=a{\mathbf{u}}^T{\mathbf{S}}_{\mathbf{b}}\mathbf{u}$$

LDA优化目标

因此，根据LDA的优化准则，我们设计出
$$\underset{\mathbf{u}}{\min }J(\mathbf{u})=\frac{{\mathbf{u}}^T{\mathbf{S}}_{\mathbf{w}}\mathbf{u}}{{\mathbf{u}}^T{\mathbf{S}}_{\mathbf{b}}\mathbf{u}}$$
为求最小化，假设 ${\mathbf{u}}^T{\mathbf{S}}_{\mathbf{b}}\mathbf{u}=1$ ,从而有以下优化问题
$$\{\begin{array}{r}\min {\mathbf{u}}^T{\mathbf{S}}_{\mathbf{w}}\mathbf{u}\\ {\mathbf{u}}^T{\mathbf{S}}_{\mathbf{b}}\mathbf{u}=1\end{array}$$
通过拉格朗日乘子法有
$$L(\mathbf{u},\lambda )={\mathbf{u}}^T{\mathbf{S}}_{\mathbf{w}}\mathbf{u}+\lambda (1-{\mathbf{u}}^T{\mathbf{S}}_{\mathbf{b}}\mathbf{u})$$
从而有
$$\frac{\partial L}{\partial \mathbf{u}}=0\to {\mathbf{S}}_{\mathbf{w}}\mathbf{u}=\lambda {\mathbf{S}}_{\mathbf{b}}\mathbf{u}$$
即 ${{\mathbf{S}}_{\mathbf{b}}}^{-1}{\mathbf{S}}_{\mathbf{w}}\mathbf{u}=\lambda \mathbf{u}$ ，投影方向即为 ${{\mathbf{S}}_{\mathbf{b}}}^{-1}{\mathbf{S}}_{\mathbf{w}}$ 的特征向量。