Fisher线性分类（基本原理）

目录

• 基本原理介绍
• 数学描述

基本原理介绍

  Fisher线性分类器是将$n$维训练样本投影到1维空间上，然后在一维空间进行分类，最关键的参数就是投影方向$w$。
  由于投影方向有很多，如何得到最佳的投影方向呢？，这个投影过程要求满足一个原则，这个原则一句话解释就是：类内离散度越小越好，类间离散度越大越好。
  记类内离散度为$S_w$，类间离散度为$S_b$，整个准则可以描述为：

$$maxJ=\frac{S_b}{S_w}$$

  下面详细介绍$S_b,S_w$的求法。

数学描述

  设有带标签的样本集 X = { X 1 , X 2 , . . . , X n } X=\{X_1,X_2,...,X_n\} X={X1​,X2​,...,Xn​}，其中$X_i$为n维的特征向量，首先计算原样本的类内离散度$S_w$，为了描述“离散度”的概念，我们可以理解为数据的离散程度，统计描述就是方差。

  假设整个数据样本集一共可以分成K类，那么有：

$$S_w=\sum _{k=1}^K{S}_k$$

  $S_i^2$是第k类数据样本的方差矩阵，定义如下：

$$S_i=\sum _{i\in X_k}(X_i-M_i)(X_i-M_i{)}^T$$

  其中$M_i=\frac{1}{N_k}{\sum }_{i\in X_k}{X}_i$为均值向量。

  下面考虑类间的离散度$S_b$

  类间离散度定义为各类样本均值向量的离散程度，定义如下：

$$S_b=\sum _i^K\sum _j^K(M_i-M_j)(M_i-M_j{)}^T(i\ne j)\text{\hspace{1em}(1)}$$

  这个考虑K分类的情况，找了很多资料都没有说Fisher分类器进行多分类的情况，式$(1)$的定义还存在一定疑问。

  以上都是在原样本集上的计算，下面考虑在$w$方向上投影，记投影后的类内类间离散度为$\overline{S_w},\overline{S_b}$，相应的表达式如下：

$$\overline{S_w}=\sum _{k=1}^K\overline{S_k}=\sum _{i\in X_k}(w^T{X}_i-w^T{M}_i{)}^2=w^T{S}_{w}w$$

$$\overline{S_b}=\sum _i^K\sum _j^K(w^T{M}_i-w^T{M}_j{)}^2=w^T{S}_{b}w(i\ne j)$$

因此，损失函数为：
$$maxJ=\frac{\overline{S_b}}{\overline{S_w}}=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$

利用一些常用的优化迭代算法即可得到最佳的$w^{\ast }$。在二分类情况下，$w^{\ast }$的解析解如下：
$$w^{\ast }=S_w^{-1}(M_1-M_2)$$