最通俗的 LDA 线性判别分析教程

多元统计分析——数据降维——Fisher线性判别分析(LDA) 一、LDA的思想 LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大”。什么意思呢? 我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大。 二、LDA vs PCA LDA用于降维,和PCA有很多相同,也有很多不同的地方,因此值得好好的比较一下两者的降维异同点。    .. 阅读详情

🔥 最通俗的 LDA 线性判别分析教程(本科生/研究生都能懂)

大家好,今天我们来彻底吃透LDA(线性判别分析)。
这是机器学习、模式识别、数据降维里必考、必用、必懂的算法,面试、比赛、写论文都高频出现。

我会用大白话 + 简单数学 + 代码实战,让你从零到会。


一、LDA 到底是什么?一句话讲明白

LDA = 带标签的降维算法
它的目标只有一句话:
把高维数据投影到低维,让同类越紧、异类越远!

  • 同类:类内越紧凑越好
  • 异类:类间越分开越好

二、LDA 和 PCA 的区别(面试必考!)

这是最容易混淆的两个算法,我给你总结成最简单的对比:

项目PCA(主成分分析)LDA(线性判别分析)
学习方式无监督(不要标签)有监督(必须要标签)
目标保留最大方差最大化类间距离,最小化类内距离
用途降维、去噪、可视化分类前的特征提取、类别分离
适合场景不知道类别、只想压缩维度已知类别、想让类别更分开

一句话总结:
PCA 保信息,LDA 保分类!


三、LDA 的核心思想(超通俗)

想象你有两类数据:苹果、香蕉。
它们在高维空间里混在一起。

LDA 要做的就是:
找一条直线,把所有点投影上去,让苹果堆成一团、香蕉堆成一团,两类离得越远越好!


四、LDA 的数学原理(只讲关键,不讲废话)

LDA 只围绕两个矩阵展开:

1. 类内散布矩阵 Sw(Within-Class)

衡量:同类内部紧不紧凑
同类越紧凑越好,值越小越好。

公式:
SW=∑k=1K∑x∈Ck(x−μk)(x−μk)TS_W = \sum_{k=1}^K \sum_{x \in C_k} (x-\mu_k)(x-\mu_k)^TSW​=∑k=1K​∑x∈Ck​​(x−μk​)(x−μk​)T

2. 类间散布矩阵 Sb(Between-Class)

衡量:类别之间离得远不远
类别越远越好,值越大越好。

公式:
SB=∑k=1KNk(μk−μ)(μk−μ)TS_B = \sum_{k=1}^K N_k (\mu_k-\mu)(\mu_k-\mu)^TSB​=∑k=1K​Nk​(μk​−μ)(μk​−μ)T


五、LDA 的优化目标(最核心)

我们要找一个投影方向 w,让:

J(w)=wTSBwwTSWwJ(w) = \frac{w^T S_B w}{w^T S_W w}J(w)=wTSW​wwTSB​w​

这个比值越大越好!

  • 分子越大:类间越远
  • 分母越小:类内越紧

六、LDA 怎么求解?

非常简单:
对 Sw⁻¹ Sb 做特征值分解,取最大特征值对应的特征向量!

步骤总结:

  1. 算每类均值 μk、总体均值 μ
  2. 算类内散布 Sw
  3. 算类间散布 Sb
  4. 求 Sw⁻¹ Sb 的特征向量
  5. 取前 r 个特征向量做降维

七、LDA 优点 & 缺点(面试必背)

✅ 优点

  1. 带标签降维:比 PCA 更适合分类任务
  2. 类别分离极强
  3. 计算快,就是矩阵特征分解
  4. 结果可解释性高
  5. 对高斯分布数据效果特别好

❌ 缺点

  1. 只能线性,非线性不行
  2. 最大只能降到 K-1 维(K=类别数)
  3. 对噪声、异常值敏感
  4. 要求数据近似高斯分布
  5. 小样本情况下矩阵容易不可逆

八、LDA 适用场景(直接背)

  • 分类任务前的特征降维
  • 人脸识别(经典 Fisherface 就是 LDA)
  • 特征解耦、类别增强
  • 数据可视化(让类别分得更开)
  • 高维数据预处理

九、代码实战:Iris 数据集 LDA 降维(可直接复制)

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
import seaborn as sns

# 加载数据
data = load_iris()
X = data.data
y = data.target
labels = data.target_names

# ================== LDA 降维 ==================
lda = LDA(n_components=2)
X_lda = lda.fit_transform(X, y)

# ================== 可视化 ==================
plt.figure(figsize=(10,6))
colors = ['red','blue','green']
for i,color in enumerate(colors):
    plt.scatter(
        X_lda[y==i,0],
        X_lda[y==i,1],
        c=color,
        label=labels[i],
        alpha=0.7
    )

plt.title('LDA 降维可视化(4D → 2D)',fontsize=14)
plt.xlabel('LDA Component 1')
plt.ylabel('LDA Component 2')
plt.legend()
plt.grid(alpha=0.3)
plt.show()

# ================== 密度分布图 ==================
plt.figure(figsize=(10,4))
for i in range(3):
    sns.kdeplot(X_lda[y==i, 0], fill=True, alpha=0.5)
plt.title('LDA 第一分量类别密度分布')
plt.legend(labels)
plt.show()

十、效果说明

  • 原始 4 维数据,LDA 降到 2 维
  • 三类花几乎完全分开
  • 这就是 LDA 的强大之处:让类别更可分

十一、总结(一句话记住 LDA)

LDA 是带标签的监督降维算法,目标是:同类越紧、异类越远,非常适合分类任务的特征提取与数据可视化。


十二、你可以直接复制到 优快云 的标题

  • 机器学习降维算法(三):LDA 线性判别分析(超通俗教程)
  • 面试必考:PCA 与 LDA 的区别,一篇彻底讲懂
  • 从数学到代码:LDA 线性判别分析完全教程(本科生友好)
  • LDA 人脸识别原理 + Python 实现(经典 Fisherface)
如何画lda投影结果_线性判别分析(LDA)原理总结 前言线性判别分析(Linear Discriminant Analysis,以下简称LDA)是有监督的降维方法,在模式识别和机器学习领域中常用来降维。PCA是基于最大投影方差或最小投影距离的降维方法,LDA是基于最佳分类方案的降维方法,本文对其原理进行了详细总结。目录1. PCA与LDA降维原理对比2. 二类LDA算法推导3. 多类LDA算法推导4. LDA算法流程5. 正态性假设6. ... 阅读详情

相关推荐

吃瓜日记——LDA线性判别分析

今天的西瓜不太好吃,啊啊啊 今天看到LDA,但是对西瓜书上讲解的LDA不是很理解,然后就自己找了相关资料,希望能够给自己通俗的讲明白。 一、LDA简介 LDA是一个经典的线性学习方法,主要用于二分分类问题,扩展以后可以解决多分分类。 LDA和PCA都是利用降维思想,与PCA不同的C是,LDA主要是针对带有标签的数据,将带有标签的数据降维,投影到低维空间同时满足三个条件: 尽可能多地保留数...

叔于田蒸蒸的博客 757

史上最直白的LDA教程之二

史上最直白的LDA教程的pdf文档已经整理,并上传到csdn,链接如下: http://download.youkuaiyun.com/detail/u011539200/9361723

大数据和机器学习研究 1272

LDA, Linear Discriminant Analysis(线性判别分析)

上一篇博客简要介绍了基于特征值分解和SVD分解矩阵的PCA方法,本篇博客介绍LDA,并将二者进行比较总结。 一、LDA和PCA LDA的全称是Linear Discriminant Analysis(线性判别分析) PCA是将数据投影到方差最大的几个相互正交的方向上,以期待保留最多的样本信息。样本的方差越大表示样本的多样性越好。x轴和y轴都不是最理想的投影,故上图中PCA会将数据投影在红色的轴上。 若根据PCA进行降维,将会把数据映射到红色直线上,这样做投影确实方差最大,但是这样做投影之后两类数据样本将

weixin_44070509的博客 1906

史上最直白的LDA教程之一

前言LDA线性鉴别分析,又叫线性鉴别矢量,它是Ronald Fisher发明的,所以有时候又叫Fisher鉴别矢量,它的核化版本叫KFDA(Kernel Fisher Discriminant Analysis)。机器学习的分类问题 ,是一种有监督学习。所谓有监督,就是知道训练样本的类别。顾名思义,无监督学习就是没有样本的类别信息,比如PCA就是无监督学习,如我们前面推导过的PCA,不需要

大数据和机器学习研究 10000

Python实现LDA模型的完美指南

本文还有配套的精品资源,点击获取 简介:本资源详细介绍了如何使用Python中的Gensim库实现LDA(隐含狄利克雷分布)模型,这是一种广泛应用于文本挖掘的主题模型。LDA模型能够揭示文档集合中的隐含主题结构。资源包括文本预处理、向量化方法选择、模型构建、训练和结果分析等步骤,并探讨了如何将LDA应用于文本分类、推荐系统和搜索引擎改进等实际问题。学习此课程设计,你将掌握L...

weixin_31749299的博客 6061

史上最直白的lda教程

史上最直白的lda教程的pdf文档,0积分下载。求rp。

史上最好的LDA(线性判别分析)教程

一、前言最近由于研究需要,要用到线性判别分析(LDA)。于是找了很多资料来看,结果发现大部分讲的都是理论知识,因此最后还是看的一知半解,后来终于找到了个英文的文档,作者由PCA引入LDA,看过后豁然开朗,主要是文档中有详细的例子,为了保持原版在此就直接粘贴过来了——后面的例子是结合MATLAB实现的!二、LDA理论详解 三、LDA实例详解下面是作者文档中配的

jnulzl的专栏 9万+

【无标题】STM32F767串口空闲中断+DMA实现不定帧长度的接收

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、配置串口与DMA二、空闲中断服务函数二.串口+DMA发送三、主函数总结 前言 提示:这里可以添加本文要记录的大概内容: 使用STM32F767实现串口空闲中断+DMA传输接收不定帧长度数据,以及当中可能遇到的错误总结 提示:以下是本篇文章正文内容,下面案例可供参考 一、配置串口与DMA //硬件模块配置可直接通过CUBEMX配置 void MX_USART1_UART_Init(void) { huart1.In.

qq_42589531的博客 1169

最通俗易懂的线性判别分析(LDA)教程:从原理到100-Days-Of-ML-Code实战

线性判别分析(LDA)是机器学习中一种经典的降维和分类算法,广泛应用于模式识别、数据可视化和特征提取等领域。100-Days-Of-ML-Code项目通过系统性学习路径,帮助初学者掌握包括LDA在内的各类机器学习算法。本文将从基础原理出发,结合项目实战案例,带你快速掌握LDA的核心概念与应用方法。 ## 一、LDA核心原理:让数据"可分"的降维魔法 ✨ ### 1.1 LDA与PCA的本质区别

gitblog_00856的博客 435

【Ultrascale+ MPSOC学习记录】6、从eMMC启动翻车

因为MPSOC还有一种启动模式是eMMC,接下来咱就实现从eMMC启动。

ryo891012的博客 475

ADF4002分频器避坑指南:常见配置错误及解决方案

本文深入解析了ADF4002分频器在实战应用中的常见陷阱与解决方案。内容涵盖寄存器配置逻辑、硬件PCB布局要点、软件驱动时序细节及系统化调试方法,重点阐述了如何避免因配置错误导致芯片无法正常工作的问题,帮助工程师高效完成高精度频率合成系统设计。

weixin_29192141的博客 98

通俗理解LDA主题模型(2014年版)

印象中,最开始听说“LDA”这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是因为这篇文档的前序铺垫太长(现在才意识到这些“铺垫”都是深刻理解LDA 的基础,但如果没有人帮助初学者提纲挈领、把握主次、理清思路,则很容易陷入LDA的细枝末节之中),还是因为其中的数学推导细节太多,导致一直没有完整看完过。2013年12月,在我组织的Machine Learning读书会第8期。

结构之法 算法之道 33万+

手把手教你搞定6脚三位一体数码管的驱动(附C语言源码与Visual Studio调试技巧)

本文详细解析了6脚三位一体数码管的驱动原理与实战技巧,包括引脚复用、动态扫描时序、Visual Studio模拟调试及单片机实现。通过C语言源码示例和调试技巧,帮助开发者快速掌握非标准数码管的驱动方法,提升硬件开发效率。

weixin_30613727的博客 594

通俗易懂的LDA降维原理

目录 例子 LDA降维 在前几篇的文章中,大管提到了PCA降维,有小伙伴私信说在实际情况中,效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗?简单来说,是将数据映射到方差比较大的方向上,最后用数学公式推导出矩阵的前TopN的特征向量,这里的方差可以理解为数据内部的离散程度。而LDA不同于PCA的是它是一种有监督的降维方法。下面举一个小例子来直观的说明PCA和LDA的不同降维方法...

LOLUN9的博客 9005

Codex 100个真实案例 - 用AI做在线考试系统(自动组卷+防作弊)

本案例使用 Codex 从零搭建一个功能完整的在线考试系统。涵盖题库管理(单选/多选/判断/填空)、智能随机组卷、考试倒计时、自动判分、成绩统计分析、以及多维度防作弊机制(切屏检测、禁止复制粘贴、IP限制等)。前端使用 Vue 3 + Element Plus 构建考试界面,后端使用 Node.js + Express + MySQL 提供 API 服务。全程用自然语言驱动 Codex 完成开发,最终交付一个可直接部署的在线考试平台。

yueyeguzhuo的专栏 84

Winform从入门到精通(7)——ComboBox(史上最全)

本文介绍ComboBox控件的详细用法,包括所有属性、事件,绝对史上最全!

qq_34059233的博客 2万+

线性判别分析(LDA)原理总结

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 本文转自:机器学习算法那些事前言线性判别分析(Linear Discriminant Analys...

小白学视觉 5438

SAP CBC 集成质量系统初始化接入实战指南

摘要 本文探讨了SAP S/4HANA Cloud Public Edition项目中质量系统的初始接入过程。质量系统并非开箱即用,而是需要经过SAP Central Business Configuration(CBC)的Scope and Organizational Structure阶段部署后才能具备完整功能。文章重点分析了几个关键环节:CBC里程碑确认的时机选择、Identity Authentication的初始管理员设置、Business Role Template的创建规范等。实施过程中需特

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1413

降维算法之LDA(线性判别分析)

数据降维算法之线性判别分析

qq_45670407的博客 1395

fasterlio原理及代码框架梳理

Faster-LIO 的优势是在保持同等高精度的前提下,显著提升计算效率,以支持更极端的应用场景(如高速无人机)和更廉价的硬件平台。可以把 Faster-LIO 理解为用一把更快的“空间哈希筛子”(iVox)替换了原来精细的“动态平衡树”(ikd-Tree),从而在精度损失极小的情况下,实现了效率的显著提升。:只在实际有地图点的空间区域动态创建和保留体素单元,形成一个稀疏的体素地图。是关键:将去畸变点云中的每个点,在 iVox 维护的局部地图中搜索近邻(如5个最近点),构建点到面的距离残差。

Studying…… 246

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

matlab如何画lda投影结果_线性判别分析(LDA)原理总结

前言线性判别分析(Linear Discriminant Analysis,以下简称LDA)是有监督的降维方法,在模式识别和机器学习领域中常用来降维。PCA是基于最大投影方差或最小投影距离的降维方法,LDA是基于最佳分类方案的降维方法,本文对其原理进行了详细总结。目录1. PCA与LDA降维原理对比2. 二类LDA算法推导3. 多类LDA算法推导4. LDA算法流程5. 正态性假设6. ...

weixin_39885803的博客 315

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

线性判别分析 (Linear Discriminant Analysis, LDA)

LDA的目标是投影数据,使得同一类别的样本在投影后尽可能接近,而不同类别的样本尽可能分开。它通过分析数据的类内和类间散布来实现这一目标,是一种有效的线性分类和降维工具。线性判别分析通过最大化类间散度和最小化类内散度使不同类别的数据在低维空间中能够更好地分开,是一种经典的降维和分类方法。它所依赖的数学基础是关于矩阵的散布度量以及特征值问题的求解。LDA 试图在保留数据集的判别信息的同时减少数据的维度。最大化类间方差(Between-class variance):使不同类之间的中心距离尽可能大。

m0_60388871的博客 1565

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

主成分分析(PCA)/线性判别分析(LDA)总结

1 PCA PCA(Principal Component Analysis) 是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特征分量。 关于PCA的原理强烈推荐这篇文章PCA的数学原理 2 LDA 之前我们讨论的 PCA降维,对样本数据来言,可以是没有类别标签 y 的。如果我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使...

J~的博客 2049

机器学习算法直观解释及数学原理手把手推导2——Fisher线性判别分析(LDA/FLD)

本文旨在提供对线性判别分析方法(以下简称LDA)全面通俗的解释,并且会在几个知识需求层面进行分类,对于不同需求我会在文章中穿插阅读顺序,每个部分所需要的先修知识我会先说出来,如果需要查缺补漏的话可以移步传送门(如果原作者介意请联系我删除),尽可能地让各种不同深度需求的小伙伴都能够尽可能看懂。如有谬误,欢迎各路大佬指出。

qq_45882682的博客 839

通俗理解LDA主题模型

声明:本文转载自July的优快云博客,仅作为知识记录所用,原文链接:http://blog.youkuaiyun.com/v_july_v/article/details/41209515 0 前言     印象中,最开始听说“LDA”这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是因为这篇文档

yhao2014的专栏 4万+
上一篇: 机器学习降维与信号分离:独立成分分析 ICA
下一篇: 一口气读懂 PCA 主成分分析:从原理到代码,本科生/研究生都能彻底学会
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值