fisher判别分析(LDA)，Python

最新推荐文章于 2024-06-04 07:30:00 发布

原创

最新推荐文章于 2024-06-04 07:30:00 发布 · 3.8k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#python #机器学习 #spss

本文介绍了Fisher判别分析，也称线性判别分析（LDA），并讨论了其在二分类问题中的应用。通过数学公式和Python代码示例，展示了如何计算特征根和特征向量，以及如何将数据投影到决定分类的直线上。LDA的目标是使类间距离最大化，同时最小化类内样本的方差，与PCA的主要区别在于目标不同。

Fisher判别分析，或称为线性判别分析（Linear Discriminant Analysis，LDA）。LDA有时也被称为Fisher’s LDA。最初于1936年，提出Fisher线性判别，后来于1948年，进行改进成如今所说的LDA。

关于Fisher判别的数学原理和推到过程，这里就不多介绍，附上另外一篇文章，写的很详细。
Fisher数学推导

建议看完推导过程再回来。

这里讨论二分类。

其实我们要的就是最终的结论：
在这里插入图片描述
因为我们最终计算的时候，就是通过这个公式来计算，方法有两种，
第一是通过1式计算特征根，取最大的那个特征根的特征向量
第二是通过2式直接计算出向量

这里计算出的向量就是我们把数据投影到的那条直线。虽然两种方法计算的结果不一样，但是对于向量来说他们的方向是一样的，比如（1,2）和（3,6）这两个向量的方向，也就是斜率是一样的，这个应该不用多说。其实不管使用spss还是别的什么，计算出的结果都是不一样的，但是归一化以后的向量是一样的。

对于上面提到的Sw：
在这里插入图片描述
对于上面提到的Sb：

m就是对应的均值向量。

举例子说明。
在这里插入图片描述
这个例子数据少，简单易懂。

录入数据：(个人比较喜欢用Dataframe)

x = np.array([[1.14,1.78],[1.18,1.96],[1.20,1.86],[1.26,2.00],[1.28,2.00],[1.30,1.96],[1.24,1.72],[1.36,1.74],[1.38,1.64],
              [1.38,1.82],[1.38,1.90],[1.40,1.70],[1.48,1.82],[1.54,1.82],[1.56,2.08]])

y = np.array([1,1,1,1,1,1,

最低0.47元/天解锁文章