线性分类器之Fisher线性判别函数

        Fisher判别是一种应用极为广泛的线性分类的方法，基本思想是：把维空间的所有模式投影到一条过原点的直线上，即将模式的维数压缩到一维，并要求统一类型的样本尽可能多地聚集在一起，不同类型的样本尽可能地分开。

        如下图所示，两类模式的分布，它们的投影不论在或轴上都是混杂的，因此单纯取它们在或轴上的投影式不好分类的。但是，有可能存在一条直线AB，使得样本在它上面的投影很容易分开。

        设给定两类模式的样本集和，它们有和个维的样本。我们的目标就是找到一条直线，使得模式样本在这条直线上的投影最有利于分类。设为这条直线正方向的单位向量，即，于是有和到直线的投影得到相应的集合和，其中每个就是在单位向量的投影。于是就有：

                                                                                                                                                           (1)

         为了找到最有利于分类的方向，需要建立一个准则函数，它能反映不同类别模式在这条直线投影分离程度的好坏。

         为了使类别分离得好，应使各类模式投影均值彼此间的间距尽可能大。设