Fisher判别是一种应用极为广泛的线性分类的方法,基本思想是:把维空间的所有模式投影到一条过原点的直线上,即将模式的维数压缩到一维,并要求统一类型的样本尽可能多地聚集在一起,不同类型的样本尽可能地分开。
如下图所示,两类模式的分布,它们的投影不论在或
轴上都是混杂的,因此单纯取它们在
或
轴上的投影式不好分类的。但是,有可能存在一条直线AB,使得样本在它上面的投影很容易分开。
设给定两类模式的样本集和
,它们有
和
个
维的样本。我们的目标就是找到一条直线,使得模式样本在这条直线上的投影最有利于分类。设
为这条直线正方向的单位向量,即
,于是有
和
到直线的投影得到相应的集合
和
,其中每个
就是
在单位向量
的投影。于是就有:
(1)
为了找到最有利于分类的方向,需要建立一个准则函数,它能反映不同类别模式在这条直线投影分离程度的好坏。
为了使类别分离得好,应使各类模式投影均值彼此间的间距尽可能大。设