分类算法----线性判别分析（LDA）原理和推导过程学习笔记

最新推荐文章于 2025-06-20 02:12:56 发布
原创 最新推荐文章于 2025-06-20 02:12:56 发布 · 1.3w 阅读 · 55 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LDA #线性判别分析

本文介绍了线性判别分析（LDA）的基础知识，包括方差分析、拉格朗日法，并详细阐述了LDA的推导过程。通过寻找最佳投影向量以最大化类别间差异，LDA旨在实现高效的数据分类。同时，文章讨论了欧氏距离的局限性，提出了马氏距离作为更优的分类距离计算方法，特别是在考虑变量相关性和量纲影响时。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

线性判别分析用到方差分析和拉个朗日的相关知识，在介绍线性判别分析之前，先介绍方差分析和拉格朗日的相关知识，然后介绍线性判别分析（LDA的推导过程）、最后利用马氏距离计算样本与两类的距离，对数据进行分类

1方差分析

2 拉个朗日法

3 线性判别分析（LDA）的推导过程

假设有两类数据红色和蓝色，我们想通过线性判别分析对这两类数据进行分类。图1可以看到没有很好的把数据分开，而图二可以很好的把数据分开，线性判别分析的目的是求一个投影向量，这个投影向量可以很高的区分两类

最低0.47元/天 解锁文章

200万优质内容无限畅学
LDA推导
heda3的博客
03-16 601
LDA是一种：有监督、线性 有预测函数：y=wx （寻找最佳投影向量w）优化目标： 转化为求解特征值求解算法：QR算法 数学原理：而LDA是选择投影后使得类内方差小而类间方差大的方向来投影，用到了类别信息 参考：https://blog.youkuaiyun.com/shenziheng1/article/details/60467527 ...
R语言机器学习算法实战系列（十二）线性判别分析算法分类器 (Linear Discriminant Analysis)
专注生信领域
10-22 673
本文介绍了线性判别分析（LDA）的原理和步骤，LDA是一种监督学习的降维技术和分类算法，通过最大化类间散布矩阵与类内散布矩阵的比率来找到最佳投影方向。文章还提供了使用R语言实现多层感知器（MLP）的教程，包括数据下载、加载R包、数据预处理、数据切割、模型构建、预测测试数据、模型评估、保存模型等步骤。数据集来自乳腺癌风险预测项目，包含569份恶性和良性肿瘤样本的32类指标。文章详细展示了数据预处理、描述、切割等过程，并提供了相关代码和图表。
机器学习算法之线性判别分析(LDA二分类)
I good vegetable a!
10-22 2907
算法原理 线性判别分析(Linear Discriminant Analysis, LDA)的原理比较简单，就是我们希望寻找到一条直线，然后我们将数据投影到这条直线上，使得这两种数据之间尽可能远离，并且同类数据尽可能聚集在一起。 ...
【AI深究】线性判别分析（LDA）全网最详细全流程详解与案例（附大量Python代码演示）|数学原理、案例流程、代码演示及结果解读|LDA与PCA的区别、实际业务中应用、正则化与扩展、多类别决策边界
最新发布
AI人工智能爱酱～你的AI学习好帮手～
06-20 1065
大家好，我是爱酱。本篇将会系统讲解线性判别分析（LDA, Linear Discriminant Analysis）的原理、数学推导、案例流程、代码实现和工程建议。内容详细分步，适合新手和进阶者理解与实操。 详细内容涵盖：数学原理、案例流程、代码演示及结果解读，LDA与PCA的区别、实际业务中应用、正则化与扩展、多类别决策边界以及优缺点和工程建议都会覆盖到！ 注：本文章含大量数学算式、详细例子说明及代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
线性判别分析 LDA 样本中心投影 推导
csdn_inside的博客
12-20 1692
最近回看周志华老师的《机器学习》，里面对于LDA算法做了简单的描述。 当时对于样本中心在直线上的投影为没太看懂，现在索性就推了一下，其实很简单。 以平面二维为例： 设为样本中心点，LDA直线为， 投影直线的斜率与LDA直线垂直，斜率为，求得直线： 直线与LDA直线的交点，即是样本中心在直线上的投影点： 解得投影点： 所以，距离为： 第三步，把分子x0+y0·W写...
机器学习判别分析算法——线性判别分析和二次判别分析基本原理（1）
qq_45932996的博客
08-29 1783
判别分析算法最早由Fisher在1936年提出，是一种经典而常用的机器学习方法，本质上也是一种线性算法，常用来做特征提取、数据降维和任务分类，可用于二分类或多分类问题，在人脸识别或检测等领域发挥了重要作用。
Scikit-Learn 1.4使用指南：有监督学习 线性判别分析和二次判别分析 Linear and Quadratic Discriminant Analysis
数智笔记
02-04 937
可以用于执行有监督的降维，通过将输入数据投影到一个线性子空间，该子空间由最大化类别之间分离的方向组成（在下面的数学部分中讨论了这一点）。这些分类器具有吸引力，因为它们具有可以轻松计算的闭式解，本质上是多类分类器，在实践中已经被证明效果良好，并且没有需要调整的超参数。如果在QDA模型中假设协方差矩阵是对角的，则假设每个类别中的输入在条件下是独立的，得到的分类器等价于高斯朴素贝叶斯分类器。从上述公式可以看出，LDA具有线性的决策面。）是两种经典的分类器，正如它们的名字所示，分别具有线性和二次的决策面。
《机器学习by周志华》学习笔记-线性模型-02对数几率回归与线性判别分析
vanilla698的博客
04-17 1297
上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。当联系函数连续且充分光滑，考虑单调可微函数。多分类与二分类的线性判别分析（LDA）
（笔记）线性判别分析LDA
kuabiku的博客
07-21 174
Sw可能是奇异的，（如果存在数据属性方差为0） 那么就求不了逆 也就是算不出Sw。所以，哪怕在有标签类别的数据中，LDA也不是一定比PCA好的（比如下图的情况），所以在实际情况中需要先对样本进行分析。在实际应用中，可以用计算协方差的公式来计算散度矩阵，一般的仿真平台都会封装好计算协方差的函数，对于一个协方差公式。当样本均值相等时，LDA会失效，因为对于如果两样本均值相等，那么分子一定为0，在这个情况下怎么投影都没有用。PCA适用于无标签的数据中，LDA适用于有标签。来说，其散度矩阵的表达式就为。
斯坦福公开课LDA线性判别分析学习笔记
文件名称列表中的"线性判别分析.pdf"可能是一个详细记录斯坦福大学公开课中机器学习LDA相关内容的讲义或者学习笔记。它可能包括课程的PPT课件、示例代码、课后问题以及相关习题解析等，是学习LDA的重要参考资料。 ...
主题模型（LDA）(二)-公式推导
多元思考力
12-06 6756
上一篇文章讲解了LDA的通俗理解，基本没有用任何公式，还给了用gensim做邮件分类的案例，详情请戳：主题模型（LDA）(一)这篇文章看一下公式式怎么推导出来的。正经的LDA，主要有以下几个方面： 一个函数：gamma函数 四个分布：二项分布，多项分布，beta分布，狄利克雷分布 一个概念一个理念：共轭先验与贝叶斯框架 pLSA,LDA 一个采样：Gibbs采样 我们来看一下它是怎么推导出来的。
LDA模型里Gibbs sampling后验概率详细推导过程
06-05
LDA模型的理解对很多人是一种挑战，尤其是参数估计部分。本文档详细给出了TOTLDA和LDA两个主题概率模型的参数估计需要用到的后验概率的推导过程，并采用了两种方法，对主题概率模型研究人员具有很好的启发意义！
LDA 线性判别分析公式推导
李威威的博客
09-30 1229
LDA 线性判别分析公式推导 学习 LDA 其实我也没觉得它有什么很重要的应用，甚至我还听到了一种说法，觉得 LDA 是一个比较鸡肋的算法（这一点恐怕要打一个大大的问号），但是在学习 LDA 的过程中，可以巩固我们对常见数学工具的应用，因为其中用到的拉格朗日乘子法，定义的协方差矩阵、投影到向量的思想是常见而且基础的。 LDA 的思想 与 PCA 不同，LDA 需要利用类标信息进行降维，是一种监督学...
机器学习入门学习笔记：（2.4）线性判别分析理论推导
hongbin_xu的博客
10-21 1447
LDA线性判别分析(Linear Discriminant Analysis, 简称LDA)，最早由Fisher提出，也叫“Fisher判别分析”。 线性判别分析的思想：给定样本数据集，设法将样本投影到某一条直线上，使得同类样本的投影点尽可能接近，异类样本的投影点尽可能远；在对新的点进行分类预测时，将其投影到这条直线上，根据投影点的位置来判断样本的类别。 当x是二维时，我们就要寻找一个方向为ω\
机器学习基础---降维方法---线性判别分析（LDA）推导
jkgghvfuj的博客
10-31 590
线性判别分析（LDA） 算法描述 核心思想： LDA方法属于有监督降维，其需要由标签信息输入 算法目标是将样本矩阵X经过线性映射W投影到子空间，使降维后样本类间距离尽可能远，类内方差足够小（最大化类间距离，最小化类内距离） 相关定义： 输入数据集X=[x1,x2,...,xN]X=[x_1,x_2,...,x_N]X=[x1​,x2​,...,xN​] 定义指示矩阵F，矩阵大小为N*C（样本数*类别数）；该矩阵每个行向量FiF_iFi​与样本xix_ixi​对应，当xix_ixi​为第c类样本，
线性判别分析LDA数学推导
weixin_44153656的博客
03-08 621
更详细描述请参考：线性判别分析LDA详解 在《机器学习》（周志华）第三章中遇到LDA，对那一小节一开始提到的协方差矩阵很不理解，我认为没有“投影后样本的协方差”这种说法，因为每个示例的投影是一个实数，这些实数组合起来是一个向量，怎么求协方差？ 找了多篇文章，我认为参考的这篇文章说得比《机器学习》那里更清楚。 ...
线性判别分析
tiantangzixue的博客
05-21 1127
 LDA的全称Linear Discriminant Analysis，线性判别分析。原理是，将带标签的数据投影到维度更低的空间，使投影后的点形成按类别区分，相同类别的点在投影后的空间中更接近，异类尽可能远。二分类：给定数据集D,分别为对应类i的集合、均值向量、协方差矩阵，若将数据投影到直线w上，，则类的中心为，协方差为。最大化目标。定义类内散度矩阵，已知可求。定义类间散度矩阵，已知可求。可表示为...
LDA(线性判别分析)原理推导过程
loist91的博客
11-02 265
参考资料：https://www.cnblogs.com/pinard/p/6244265.html
LDA算法推导
yy031的博客
11-02 519
在进行具体推导之前，首先明确一个概念——瑞利商，有助于之后推导。 对于数据集D={(x1,y1),(x2,y2),…,((xm,ym))} ,其中任意样本xi为n维向量，yi∈{0,1}。 Nj(j=0,1)为第j类样本的个数， Xj(j=0,1)为第j类样本的集合， μj(j=0,1)为第j类样本的均值向量， Σj(j=0,1)为第j类样本的协方差矩阵 对于下式初学者应该加深理解 对于刘建平博客中对于LDA算法流程的总结，课上指出下图有错误 故求哪一个的特征值都可行 ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值