机器学习之线性判别分析

机器学习笔记之线性判别分析

线性判别分析

       线性判别分析（Linear Discriminant Analysis,LDA）是一种经典的线性学习方法，最早是由Fisher提出，亦称“Fisher判别分析”，主要应用于当时二分类问题。
       LDA的思想非常简单：给定训练样本数据集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离，简单来说就是“类内小，类间大”。在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。示意图如下：

给定数据集D={(x1,y1),(x2,y2),…,(xN,yN},y∈{C=+1,C2=−1},其中xC1={xi∣yi=+1},xC2={xi∣yi=−1},∣xC1∣=N1,∣xC2∣=N2,N1+N2=ND=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N\},y\in\{C_=+1,C_2=-1\},其中x_{C_1}=\{x_i|y_i=+1\},x_{C_2}=\{x_i|y_i=-1\},|x_{C_1}|=N_1,|x_{C_2}|=N_2,N_1+N_2=ND={(x1​,y1​),(x2​,y2​),…,(xN​,yN​},y∈{C=​+1,C2​=−1},其中xC1​​={xi​∣yi​=+1},xC2​​={xi​∣yi​=−1},∣xC1​​∣=N1​,∣xC2​​∣=N2​,N1​+N2​=N。
将数据投影到直线$\mathbf{w}$上两类样本的平均距离和协方差矩阵分别为$$\begin{gathered} {\overline{Z}}_1=\frac{1}{N}\sum _{i=1}^{N_1}{w}^T{x}_i,{\overline{Z}}_2=\frac{1}{N}\sum _{i=1}^{N_2}{w}^T{x}_i \\ {S}_1=\frac{1}{N}\sum _{i=1}^{N_1}(w^T{x}_i-{\overline{Z}}_1)(w^T{x}_i-{\overline{Z}}_1{)}^T,S_2=\frac{1}{N}\sum _{i=1}^{N_2}(w^T{x}_i-{\overline{Z}}_2)(w^T{x}_i-{\overline{Z}}_2{)}^T \end{gathered}$$
想要同类样例的投影点尽可能接近，一个想法就是使同类样例投影点的协方差尽可能小，即$S_1+S_2$尽可能小；而想要异类样例的投影点尽可能远，可以让类中心的距离尽可能大，即$({\overline{Z}}_1-{\overline{Z}}_2{)}^2$尽可能大，同时考虑二者，则可选取目标函数为$$J=\frac{({\overline{Z}}_1-{\overline{Z}}_2{)}^2}{S_1+S_2},{\mathbf{w}}^{\ast }=\arg \underset{w}{\max }J(w)$$
$\begin{array}{rl}\therefore ({\overline{Z}}_1-{\overline{Z}}_2{)}^2& =(\frac{1}{N}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2=(w^T(\frac{1}{N}\sum _{i=1}^{N_1}{x}_i-\frac{1}{N}\sum _{i=1}^{N_2}{x}_i){)}^2\\ & =(w^T({\overline{x}}_{C_1}-{\overline{x}}_{C_2}){)}^2=w^T({\overline{x}}_{C_1}-{\overline{x}}_{C_2})({\overline{x}}_{C_1}-{\overline{x}}_{C_2}{)}^{T}w\end{array}$
上面就是“类间散度矩阵”
$\begin{array}{rl}{S}_1& =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T(x_i-{\overline{x}}_{C_1})(x_i-{\overline{x}}_{C_2}{)}^{T}w\\ & =w^T(\frac{1}{N_1}\sum _{i=1}{N}_1({\overline{x}}_{C_1}-{\overline{x}}_{C_2})({\overline{x}}_{C_1}-{\overline{x}}_{C_2}{)}^T)w\\ & =w^T{S}_{C_1}w\end{array}$
同理可得$S_2=w^T{S}_{C_2}w，\therefore S_1+S_2=w^T{S}_{C_1}w+w^T{S}_{C_2}w=w^T(S_{C_1}+S_{C_2})w$。
因此$$J(w)=\frac{w^T({\overline{x}}_{C_1}-{\overline{x}}_{C_2})({\overline{x}}_{C_1}-{\overline{x}}_{C_2}{)}^{T}w}{w^T(S_{C_1}+S_{C_2})w}=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$其中$S_b=({\overline{x}}_{C_1}-{\overline{x}}_{C_2})({\overline{x}}_{C_1}-{\overline{x}}_{C_2}{)}^T,S_w=S_{C_1}+S_{C_2}$
化简为：$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}=w^T{S}_{b}w(w^T{S}_{w}w{)}^{-1}$
令$$\begin{array}{rl}& \frac{\partial J(w)}{\partial w}=2S_{b}w(w^T{S}_{w}w{)}^{-1}-w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}\cdot 2S_{w}w=0\\ & \Rightarrow S_{b}w(w^T{S}_{w}w)-w^T{S}_{b}w{S}_{w}w=0\Rightarrow \underset{\in \mathbb{R}}{\underbrace{w^T{S}_{b}w}}{S}_{w}w=S_{b}w\underset{\in \mathbb{R}}{\underbrace{(w^T{S}_{w}w)}}\\ & \Rightarrow S_{w}w=\frac{w^T{S}_{w}w}{w^T{S}_{b}w}\cdot S_{b}w\Rightarrow w=\frac{w^T{S}_{w}w}{w^T{S}_{b}w}{S}_w^{-1}\cdot S_b\cdot w\propto S_w^{-1}\underset{({\overline{x}}_{C_1}-{\overline{x}}_{C_2})\underset{\in \mathbb{R}}{\underbrace{({\overline{x}}_{C_1}-{\overline{x}}_{C_2}{)}^{T}w}}}{\underbrace{\cdot S_b\cdot w}}\\ & \Rightarrow \propto S_w^{-1}({\overline{x}}_{C_1}-{\overline{x}}_{C_2})\end{array}$$
注：此处我们考虑的是$w$的方向，因为大小可以缩放。
在实际中，考虑到数值分解的稳定性，通常对$S_w$进行奇异值分解，即$S_w=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathbf{T}}$,这里$\Sigma$是一个实对角矩阵，其对角线上的元素是$S_w$的奇异值，然后再由$S_w^{-1}=\mathbf{U}{\mathbf{\Sigma }}^{-1}{\mathbf{V}}^{\mathbf{T}}$得到$S_w^{-1}$。
       同理，可以将此方法推广到多分类任务中。常见的多分类学习有“一对一”“一对余”“多对多”。