Fisher线性判别分析

本文参考《模式识别》 张学工
以二分类介绍
fisher线性判别：把所有样本都投影到一个方向，然后在这个一维空间中确定一个分类阈值，而fisher要找的就是这个投影方向。
衡量投影方向的标准：选择投影方向，使投影后两类相邻尽可能远，同时每一类内部的样本又尽可能近。
算法推导
训练样本为$\{x_1,x_2,...,x_N\}$每一个样本是一个d维向量，即$x_i\in R^d$,其中第一类的样本样本为$\{x_1^1,x_2^1,...,x_{N1}^1\}$，第二类样本为$\{x_1^2,x_2^2,...,x_{N2}^2\}$。我们要寻找一个投影方向$\omega$使投影后的样本为

$$y_i = \omega ^T x_i$$
在原来的样本空间中，类别均值为 $$m_i = \frac{1}{N_i}\sum_{x_j \in x(i)}x_j$$ 式中i = 1，2表示两个类别，x(i)表示第i类的集合。定义各类内离散度矩阵为
$$S_i = \sum_{x_j \in x(i)}(x_i - m_i)(x_j - m_i)^T$$
总的类内离散度矩阵为 $S_w = S_1+S_2$，类间复杂度矩阵定义为：
$$S_b = (m_1-m_2)(m_1-m_2)^T$$
投影以后的一维空间里，两类的均值中将 $x_i$用 $y_i$替换，得到
$$m_{i}^{'} =w^Tm_i$$
而类内复杂度此时是一个值
$$S_{i}^{'2}=\sum_{y_i \in y(i)}(y_i-m_{i}^{'})^2$$
类内总复杂度为 $S_{w}^{'} = S_{1}^{'}+S_{2}^{'}$，而类间复杂度就变成了两类均值差的平方 $S_{b}^{'} = (m_{1}^{'}-m_{2}^{'})^2$
为了让类内尽可能聚集，而类间尽可能离散，将这一目标表述为如下Fisher准则函数
$$\max J_F(w)= \frac{S_{b}^{'}}{S_{w}^{'}}$$
其中 $S_{b}^{'} = (m_1^{'}-m_2^{'})^2=(w^Tm_1-w^Tm_2)^2\\=w^T(m_1-m_2)(m_1-m_2)^Tw=w^TS_bw$
以及同理 $S_{w}^{'}=w^TS_ww$
因此Fisher判别准则为 $$\max _{w} J_F(w) = \frac{w^TS_bw}{w^TS_ww}$$
由于 $w$的幅值不会影响 $w$的大小，不会影响 $J_F$函数的值，因此可以将分母常数化而优化分子最大，把问题转换成如下约束条件
$$\max w^TS_bw\\s.t.\space\space\space w^TS_ww = c \neq 0$$
通过Lagrange乘子法优化为无约束极值问题，引入拉格朗日乘子 $\lambda$
$$L(w,\lambda)=w^TS_bw-\lambda (w^TS_ww-c)$$
上式极值满足
$$\frac {\partial L(w,\lambda)} {\partial w} =0$$
求解上式得到 $$\lambda w^* = s_w^{-1}(m_1-m_2)(m_1-m_2)^Tw^*$$
式中 $w^*$为极值解，其中 $S_w$假定了其为非奇异矩阵，当样本数量大于特征维数是，一般容易满足此限制。由于 $(m_1-m_2)^Tw^*$是标量，不影响其方向，而我们要找的权值向量只考虑其方向，所以取 $$w^* = S_w^{-1}(m_1-m_2)$$ 为Fisher线性判别的最佳投影方向。