Fisher线性判别函数是研究这类判别函数中最有影响的方法之一,对线性判别函数的研究就是从R.A.Fisher在1936年发表的论文开始的。
设计线性分类器首先要确定准则函数,然后再利用训练样本集确定该分类器的参数,以求使所确定的准则达到最佳。在使用线性分类器时,样本的分类由其判别函数值决定,而每个样本的判别函数值是其各分量的线性加权和再加上一阈值w0。如果我们只考虑各分量的线性加权和,则它是各样本向量与向量W的向量点积。如果向量W的幅度为单位长度,则线性加权和又可看作各样本向量在向量W上的投影。显然样本集中向量投影的分布情况与所选择的W向量有关,图1表示了在一个二维空间两个类别样本在两个不同的向量w1与w2上投影分布的情况。其中用红点及蓝点分别表示不同类别的样本。显然对 向量的投影能使这两类有明显可分开的区域,而对向量的投影,则使两类数据部分交迭在一起,无法找到一个能将它们截然分开的界面。Fisher准则的基本原理,就是要找到一个最合适的投影轴,使两类样本在该轴上投影的交迭部分最少,从而使分类效果为最佳。 |
![]() 图1 |
如果同学对上面叙述的这一步还不太明白,问题大概出在对线性方程的理解上。前面已经说过二维空间中一条直线的特点是任 |