经典分类：线性判别分析模型！

最新推荐文章于 2025-09-09 09:10:53 发布
原创 最新推荐文章于 2025-09-09 09:10:53 发布 · 1.6k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#协方差 #支持向量机 #统计学 #3d #机器学习

本文介绍了线性判别分析（LDA）的基础知识，它是一种线性分类模型，旨在通过找到最佳投影直线使样本易于分类。LDA的目标是最大化类别间的投影距离并最小化类别内的投影离散程度。文章还解释了协方差的概念及其在LDA中的作用，并提供了优化问题的转换和解决方案。最后，给出了Python实现LDA分类问题的例子。

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：小雨姑娘，康涅狄格大学，Datawhale成员

这几天看了看SVM的推导，看的是真的头疼，那就先梳理基础的线性判别分析模型，加深对SVM的理解。

线性判别分析是一种线性的分类模型。

线性分类模型是指采用直线（或超平面）将样本直接划开的模型，其形式可以表示成   的形式，划分平面可以表示成  。这里可以看出，线性分类模型对于样本的拟合并不一定是线性的，例如逻辑回归(外面套了一层sigmod函数)和感知机(外面套了一层激活函数)。

线性判别分析的基本思想是把所有样本投影到一条直线上，使样本在这条直线上最容易分类。

设直线的方向向量为 ，则样本 在直线上的投影为 ，如图：

我们的目标是使两类样本的中心点在线上的投影距离大（两类样本区分度高），同时使每一类样本在线上投影的离散程度尽可能小（类内样本区分度低）。

令 ，

最低0.47元/天 解锁文章
Datawhale
关注
机器学习（七）：线性判别分析（LDA)
全栈川川
08-19 787
机器学习之LDA
LDA 线性判别分析模型
Running_Tiger的博客
04-08 1340
LDA 线性判别分析模型线性判别分析（Linear Discriminant Analysis，LDA）是一种可作为特征抽取的技术，可以提高数据分析过程中的计算效率，同时对于不适用于正则化的模型，它可以降低模型灾难带来的过拟合。1、LDA 的概念与 PCA 区别与联系 1.PCA 试图在数据集中找到方差最大的正交主成分量的轴，而 LDA 的目标是发现可以最优化分类的特征子空间。LDA 和 PCA 都
线性判别分析（Linear Discriminant Analysis）（二）
ytlcainiao的专栏
05-24 1259
4. 实例       将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。             PCA与LDA的降维对比：             PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。       LDA既然叫做线性判别分析，应该具有一定的预测功能，比如新来一个样例x，如何确定其类别？       拿二值分来来
机器学习03——线性模型（多元线性回归、对数线性回归、二分类、线性判别分析）
最新发布
weixin_41782172的博客
09-09 929
本文系统介绍了线性模型及其应用。首先阐述了线性模型的基本形式与核心优点，包括形式简单、可解释性强等。随后详细讲解了线性回归的最小二乘法参数估计，以及如何处理离散属性。广义线性模型部分展示了如何通过联系函数扩展为非线性输出。二分类任务中重点分析了对数几率回归的原理和优势。线性判别分析（LDA）部分则探讨了其监督降维特性及多分类扩展。最后总结了不同线性模型的优化方法，包括线性回归的闭式解、对数几率回归的凸优化及LDA的矩阵论方法。全文系统梳理了线性模型的理论基础与实现技术。
线性判别分析(LDA)模型
loveitlovelife的博客
01-07 627
基本原理 给定训练样集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近，异类样本点尽可能地远离；在对新样本进行分类的时候，将其投影到同样的这条线上面，根据投影点的位置来确定样本的类别。 公式推导过程 二维示意图如下： 二分类投影函数：y=wTxy=w^Tx 类别i的原始中心点为：(Di表示属于类别i的点）：mi=1ni∑x∈Dix类别i的原始中心点为：(Di表示属于
线性判别分析（LDA）
深度学习客
03-30 2483
它的目的是在给定一组带有标签的数据的情况下，找到一个线性变换，将数据投影到一个低维空间中，使得不同类别的数据点在该低维空间中能够更加容易地区分开来。简而言之，LDA 的目的是将高维数据投影到低维空间中，同时最大化类别之间的差异性，最小化类别内部的差异性。LDA 的基本思想是，将数据在低维空间中找到一个合适的投影方向，使得类别之间的距离最大化，同时类别内部的距离最小化。首先，假设有 N 个样本，每个样本有 p 个特征，数据矩阵为 X_{N\times p}，其中 X_i 表示第 i 个样本的特征向量。
线性判别分析 Linear Discriminant Analysis | LDA
JasonH2021的博客
06-03 8459
本文主要简单介绍了线性判别分析的基本概念，优缺点，应用场景，建模时的注意事项，评价指标，实现方法，python示例和模型参数等。
机器学习笔记之线性分类——线性判别分析(一)模型构建思路
静静的学习就好
08-27 1120
上一节介绍了线性分类中硬分类的代表方法——感知机算法(Perceptron)，本节将介绍硬分类中的另一种经典算法——线性判别分析(Linear Discriminant Analysis)。
精选资源
lda线性判别分析分类_lda_分类器_线性判别分析_
09-30
线性判别分析（LDA，Linear Discriminant Analysis）是一种广泛应用的数据分析方法，主要用于特征降维和分类。在机器学习领域，LDA被用作一种监督学习的分类算法，尤其适用于多分类问题。本篇文章将深入探讨LDA的...
Fisher算法线性判别分析python实现
04-01
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计方法，常用于多类别的分类问题，尤其在高维数据降维时表现出色。Fisher算法，即Fisher判别分析，由R.A. Fisher提出，是LDA的基础。本教程将...
线性判别分析（线性回归、对数几率回归、线性判别分析和广义线性判别分析）...
weixin_30872789的博客
12-27 828
基本形式 优点：线性模型形式简单、易于建模。 很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。 权重矩阵直观表达了各个属性的重要性，因此具有良好解释性。 线性回归 1、线性回归介绍与离散属性转换为实数值 线性回归（linear regeression）试图学习一个线性模型以尽可能准确预测实值输出标记。 对于预测值本...
线性分类模型（一）：线性判别模型分析
机器学习算法那些事
11-09 6771
前言 前几篇文章介绍了线性回归算法，线性分类模型分为判别式模型和生成式模型，本文首先简单复习了与算法相关的数学基础知识，然后分析各线性判别式分类算法，如最小平方法，Fisher线性判别法和感知器法，最后总结全文。 目录 1、相关的数学知识回顾 2、判别式模...
[机器学习] 线性分类 -- 判别模型
华北小龙虾的博客
05-30 504
这是因为逻辑回归是基于极大似然估计进行参数估计的，而在类别完全分离的情况下，似然函数可能不会收敛，导致估计的参数值非常大，从而影响模型的稳定性。这是因为 LDA 在建模时对数据分布有一定的假设（即每个类别的数据都服从正态分布，且各类别的数据具有相同的协方差矩阵），在满足这些假设的情况下，LDA 的表现通常会更好。这种情况下的决策边界是线性的，这也就是 LDA 的名字所来源。其中，n 是总的样本数，K 是类别的数量，n_k 是类别 k 的样本数，x_i 是第 i 个样本，y_i 是第 i 个样本的类别。
线性判别分析（Linear Discriminant Analysis ,简称LDA）
Jack旭的博客
08-30 1520
线性判别分析（Linear Discriminant Analysis ,简称LDA）是一种经典的线性学习方法，在二分类问题上最早由【Fisher，1936】提出，也称为“Fisher 判别分析” LDA的思想：给定训练样本例集，设法将例投影在一条直线上，使得同类例的投影点近可能近，异类样例尽可能地远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。如下图所
线性判别分析
weixin_47037146的博客
07-19 1557
线性判别分析（LDA）是一种经典的线性学习方法。其思想是：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。如图所示的二分类示意图： 损失函数的推导 投影后的关键：异类样本的中心点尽可能远；同类样本的方差尽可能小。 给定数据集D={(xi,yi)}i=1mD=\{(x_i,y_i)\}^{m}_{i=1}D={(xi​,yi​)}i=1m​,yi属于{0,1}y_i属于\{0,1\}yi​属于{0,1},另Xi,μi,∑iX_i,\mu _i,\sum
线性判别分析 (Linear Discriminant Analysis, LDA)
m0_60388871的博客
09-13 1373
LDA的目标是投影数据，使得同一类别的样本在投影后尽可能接近，而不同类别的样本尽可能分开。它通过分析数据的类内和类间散布来实现这一目标，是一种有效的线性分类和降维工具。线性判别分析通过最大化类间散度和最小化类内散度使不同类别的数据在低维空间中能够更好地分开，是一种经典的降维和分类方法。它所依赖的数学基础是关于矩阵的散布度量以及特征值问题的求解。LDA 试图在保留数据集的判别信息的同时减少数据的维度。最大化类间方差（Between-class variance）：使不同类之间的中心距离尽可能大。
线性判别分析（Linear Discriminant Analysis，LDA）
热门推荐
SongGu1996的博客
07-23 1万+
基础不牢，地动山摇。 线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性学习方法，它既可以用于分类问题，也可以用于有监督的特征降维。它的思想非常朴素：给定训练样本，设法将样本特征投影到一个向量上，并且希望同类样本的投影点越近越好，异类样本的投影点越远越好。在对新样本进行分类时，照样将新样本的特征投影到这个向量上，再根据投影点的位置来确定新样本的类别。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值