Fisher线性判别分析（Linear Discriminant Analysis，LDA）

最新推荐文章于 2025-10-09 10:29:22 发布
原创 最新推荐文章于 2025-10-09 10:29:22 发布 · 9.6k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

LDA是一种用于降维和分类的统计方法，旨在找到最佳投影方向，最大化类间距离并最小化类内距离。在二分类问题中，它寻找一个投影向量以创建一个最佳的分类面。LDA与PCA的主要区别在于LDA利用了分类信息，旨在增强类别间的可分离性，而PCA仅关注数据的整体表示。

LDA基本思想：
将高维的样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果。

对于两类问题，可以看做把样本都投影到一个方向上，然后在这个一维空间确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分类面。

投影方向的确定：投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

比如如下右图就是更好的投影方向~
这里写图片描述这里写图片描述

LDA基本步骤（二分类）：
要找到一个投影w
这里写图片描述
把样本x投影到y上去（x是N*1维的，y是1*1维的，w是1*N维）

最低0.47元/天 解锁文章
线性判别分析(Linear Discriminant Analysis, LDA)详解
ningaiiiii的博客
01-01 1118
线性判别分析(Linear Discriminant Analysis, LDA)详解
线性判别分析（Linear Discriminant Analysis，LDA）
Gaowang_1的博客
11-12 448
的最大的d个特征值的乘积,此时对应的矩阵W为这最大的d个特征值对应的特征向量张成的矩阵。可以将分母进行归一化：如果分子分母都可以任意取值那将会有无穷解，故将分母限制长度为1。都是矩阵，不是标量，无法作为一个标量函数来优化！利用前面的瑞利商的性质，我们可以很快的知道，的最大特征值,最大的d个值的乘积就是矩阵。广义瑞利商是指这样的函数。的最大特征值，而最小值为矩阵。方法一：使用拉格朗日乘子法。方法二：使用瑞利商的结论。的最大特征值，或者说矩阵。为所有样本的均值向量、对于两个类别的中心点。瑞利商是指这样的函数。
多元统计分析——数据降维——Fisher线性判别分析（LDA）
huangguohui_123的博客
05-20 1万+
一、LDA的思想 LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 二、LDA vs PCA LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。 　　　..
Fisher's linear discriminant(Linear Discriminant Analysis)
斑驳记忆的专栏
01-21 7550
Fisher's linear discriminant的主要思想是(简单起见这里先讨论分成2类的情况)将高维的数据投影到一维，在这一维上，我们就能轻易得到分类。 以下两幅图分别来自prml 和the elements，我觉得非常好的说明了在分成两类的情况下Fisher's linear discriminant的思想(左图的投影没有右图的好):
线性判别分析（LDA）
最新发布
彩云回的博客
10-09 1098
简单来说，LDA的目标是找到一个“最聪明”的投影方向（一条直线或一个超平面），将高维数据投影到低维空间上。与PCA不同，LDA降维的目标是为了让数据在降维后更容易被区分，因此它保留的是对分类最有用的信息。由于LDA找到了类别间的最优分离方向，因此在低维空间上构建一个简单的线性分类器（如逻辑回归或朴素贝叶斯）就能取得很好的效果。简单来说，PCA关心的是数据自身的分布结构（方差），而LDA关心的是如何让不同类别的数据更好地区分开。LDA和主成分分析（PCA）是两种最常用的降维算法，但它们的指导思想截然不同。
机器学习---线性判别分析
weixin_43961909的博客
08-18 1069
Discriminant ,FLD)，是模式识别 的经典算法，1936年由Ronald Fisher⾸次提出，并在1996年由。线性判别分析的基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息。因此，它是⼀种有效的特征抽取⽅法。使⽤这种⽅法能够使投影 后模式样本的类间散布矩阵。和压缩特征空间维数的效果。投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类距。LDA更多的是考虑了标注，即希望投影后不同类别之间数据点的距离更⼤，同⼀。离，即模式在该空间中有最佳的可分离性。
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
脚踏实地
06-13 1930
LDA算法入门 一． LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特
小议费雪线性判别（Fisher Linear Discriminant Analysis）
大脸猫的博客
11-19 1288
fisher 判决方式是监督学习，在新样本加入之前，已经有了原样本。 原样本是训练集，训练的目的是要分类，也就是要找到分类线。一刀砍成两半！ 当样本集确定的时候，分类的关键就在于如何砍下这一刀！ 若以黑色的来划分，很明显不合理，以灰色的来划分，才是看上去合理的 1.先确定砍的方向 关键在于如何找到投影的向量u，与u的长度无关。只看方向 找到样本点的中心均值m1，m2，以及在向量u上的投影的m1~，m2~。 因为u的方向与样本点都有关，所以需要考虑一个含有所有样...
机器学习之线性判别分析（Linear Discriminant Analysis）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-26 7760
Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）三种中的哪一品种。LDA是一种简单而有效的分类器和降维方法，特别适用于特征维度较低、数据符合高斯分布的问题。
线性判别分析 LDA（Linear Discriminant Analysis）
JiangMengYa
10-09 2174
线性判别分析 LDA，数学基础、及代码实现
线性判别分析（Linear Discriminant Analysis，LDA) 简单分析
sinat_22510827的博客
10-07 2789
LDA全称Linear Discriminant Analysis，类似PCA，是一种降维方法，但是其目标不同于PCA保留最多的数据点信息，而是尽可能使得不同类别样本间的距离大，同类别的样本间距离小。 首先介绍一下LDA到底是什么？LDA是一种降维的方法，一提到降维，大家应该很熟悉PCA。那么PCA和LDA的区别是什么呢？我们简单的理解可以理解为PCA是获取那些数据能量集中的子空间，用《模式分类》中的例子：手写字母识别中，Q和O利用PCA能够发现两个字母的相似之处，却很可能把区分字母Q和O的那撇特征去掉。
classification algorithm: Fisher's linear discriminant
12-05
Fisher's linear discriminant
Fisher linear discriminant analysis总结
weixin_30892889的博客
04-28 343
　　一年前就研究过Fisher线性判别分析，到现在又忘得差不多了，在此特总结一下： 1、线性判别分析是统计学上的一种分析方法，用于在已知的分类之下遇到有新的样本时，选定一个判别标准，以判定如何将新样本放置于哪一个类别之中。主要用于二分类问题，对于多类问题则可以多次运用该方法就可以了； 2、Fisher线性判别分析的主要原理是将带有类别标签的高维样本投影到一个向量w（一维空间）上，使得在该向量上...
Fisher's Linear Discriminant（LDA) 线性判别模型（2类）
xyxc202的博客
03-22 2792
Fisher’s Linear Discriminant（LDA) 线性判别模型 ​ LDA（Linear Discriminant Analysis线，性判别分析），是一种supervised learning，是由Fisher在1936年提出的。 LDA通常作为数据预处理阶段的降维技术，其目标是将数据投影到低维空间来避免维度灾难（curse of dimensionality）引起的过拟合，同...
线性模型（二）Fisher线性判别分析
wulimmya的博客
05-11 7478
线性判别分析，Linear Discriminant Analysis，一种用于二分类的很经典的线性学习方法，1936年由Fisher 提出，so也称为Fisher判别分析。它和PCA一样，也是一种降维方法。 英国大统计学家Fisher,“a genius who almost single-handedly created the foundations for modern statisti...
【机器学习降维】Fisher判别分析LDA
Mankind的博客
03-03 1328
思想是，类内小，类间大。 方法是，降维的角度出发，把p维的样本数据都投影到一个1维的方向，使得不同的样本在降维后的一维空间内具有“类内小，类间大”的结果，从而很好地将两类数据分开。   假设我们找到了最好的投影方向www，如果不对其做限定的话，这样的w可以有无数条，所以我们限定∣∣w∣∣=1||w||=1∣∣w∣∣=1。将样本点xix_ixi​投影到向量w上，得到新的点ziz_izi​，有 zi=...
机器学习： Linear Discriminant Analysis 线性判别分析
Matrix-11
05-15 1万+
Linear discriminant analysis (LDA) 线性分类分析也是机器学习中常用的一种降维算法，与 PCA 相比， LDA 是属于supervised 的一种降维算法。PCA考虑的是整个数据集在高维空间的分散性，PCA降维之后依然要让数据在低维空间尽可能地分散。而LDA考虑的是类与类之间的差别(用距离来衡量)。 我们先来看二分类的LDA， 给定一个训练集 D={xi∈Rd
线性判别分析(Linear Discriminant Analysis, LDA）(含类内散度矩阵 类间散度矩阵 全局散度矩阵推导
0ng的博客
04-09 9618
LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后...
线性判别分析（Linear Discriminant Analysis）
热门推荐
Daunxx的专栏
07-11 7万+
从贝叶斯公式出发，得到了线性判别分析的公式，这里从另外一个角度来看线性判别分析，也就是常说的Fisher判别式。其实Fisher判别式就是线性判别分析（LDA），只是在讨论Fisher判别式的时候，更侧重于LDA的数据降维的能力。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值