『矩阵论笔记』线性判别分析(LDA)最全解读+python实战二分类代码+补充：矩阵求导可以参考

置顶 已于 2023-12-29 15:17:07 修改
阅读量6.1k 收藏 66
点赞数 12
CC 4.0 BY-SA版权
分类专栏： 矩阵论和概率论学习笔记 文章标签： 分类 线性判别分析 Fisher LDA 机器学习
于 2019-05-27 20:59:10 首次发布
引用请附上作者博客链接https://zhangkaifang.blog.youkuaiyun.com/，谢谢理解！
本文链接：https://blog.youkuaiyun.com/abc13526222160/article/details/90611743
本文详细介绍了线性判别分析（LDA）的主要思想，包括Fisher判别思想，以及从二分类问题到多分类任务的处理流程。通过计算样本均值、类内离散度矩阵、类间离散度矩阵，找到最佳投影向量，实现样本投影。此外，文章还提供了二分类问题的Python实战代码，包括数据生成、算法实现、类别判断和结果可视化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

线性判别分析(LDA)最全解读+python实战二分类代码！

文章目录

一、主要思想！

  • 线性判别分析(Linear Discriminant Analysis 简称LDA)是一种经典的线性学习方法，在二分类问题上因为最早由【Fisher，1936年】提出，所以也称为“Fisher 判别分析！”
    Fisher（费歇）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴,使所有的样本点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。
图摘自周志华老师的《机器学习》一书
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI系统架构原理与代码实战案例讲解
AI天才研究院
08-10 1137
人工智能的概念可以追溯到上世纪50年代，图灵测试的提出标志着人工智能作为一门学科的诞生。早期的研究主要集中在符号推理、专家系统等领域，取得了一些突破，例如机器定理证明、西洋跳棋程序等。上世纪80年代，随着专家系统的兴起，人工智能进入了一个黄金时期。专家系统通过模拟人类专家的知识和经验进行推理和决策，在医疗诊断、故障诊断等领域取得了成功应用。进入90年代，由于计算能力的限制和数据量的不足，人工智能的发展陷入低谷。近年来，随着深度学习技术的突破、大数据的兴起以及计算能力的提升，人工智能迎来了第三次发展浪潮，在图
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（8）：降维
Morganfs的博客
05-08 1679
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.07~2022.05.08 第八章 降维 许多机器学习问.
LDA模型代码解析
12-20
LDA模型代码解析
二分类线性分类器python实现(二)
Celeste的博客
04-18 1970
Pytorch实现 上一个博客我们用传统方法实现了一个线性分类器，这里我们用pytorch实现 我们用一个单层全连接层加一个sigmoid激活函数实现 网络的计算图如下： 代码如下： import numpy as np import matplotlib.pyplot as plt import torch.nn as nn import torch import torch.u...
Fisher线性判别分析项目实战指南
最新发布
weixin_31569663的博客
05-17 737
Fisher线性判别分析（FLD），一种经典的统计方法，广泛应用于模式识别与机器学习领域。它旨在找到一种最佳的线性组合，使得在新的维度空间上，不同类别的数据的投影距离最大化。通过最大化类间距离与最小化类内距离，FLD可以有效地进行高维数据的降维和分类。FLD的算法流程并不复杂，首先需要计算类内散度矩阵和类间散度矩阵，然后利用这些矩阵求解FLD的最优投影方向。最终通过这个方向将高维数据映射到一维或低维空间，从而便于后续的分类识别工作。
LDA源码运行解析
yangxue0的博客
01-05 770
David M. Blei 主页：http://www.cs.columbia.edu/~blei/topicmodeling.html 代码运行说明： lda-estimate.c是main函数。  int main(int argc, char* argv[]) {     // (est / inf) alpha k settings data (random
LDA理解以及源码分析（一）
热门推荐
乖兔子的专栏
12-09 1万+
LDA系列的讲解分多个博文给出，主要大纲如下： LDA相关的基础知识 什么是共轭 multinomial分布 Dirichlet分布 LDA in text LAD的概率图模型 LDA的参数推导 伪代码 GibbsLDA++-0.2源码分析 Python实现GibbsLDA 参考资料 LDA相关的基础知识LDA是Blei于2002年发表的概率语言模型，被广泛应用于主题建模中，通过对文本进行潜语义
Fisher（LDA）判别的推导+python代码实现二分类
qq_42585108的博客
05-04 6034
Fisher判别的推导一、Fisher算法的主要思想二、Fisher数学算法步骤①计算各类样本均值向量mim_imi​,mim_imi​是各个类的均值，NiN_iNi​是wiw_iwi​类的样本个数。②计算样本类内离散度矩阵SiS_iSi​和总类内离散度矩阵SwS_wSw​③计算样本类间离散度矩阵SbS_bSb​④求投影方向向量 WWW (维度和样本的维度相同)。我们希望投影后，在一维YYY空间里...
python大战机器学习（读书笔记）
li123chen的博客
09-03 5226
第一章 线性模型 逻辑回归与线性回归 理论 回归分析：回归分析的本质是函数估计的问题（包括参数估计和非参数估计），依据因变量的联系或离散分为回归或者分类，是一种有监督学习方法。 广义线性模型：拟合的是关于y的可导函数，如逻辑回归，拟合的就是y的ln函数。 线性回归求解的两个表示：用最小化均方误差和基于高斯分布的极大似然估计求解线性回归，其结果是一样的（在线性回归中假设Y|X服从高斯分布，而逻辑回归...
【Python学习笔记】——特征工程
孙悟充的博客
05-31 4190
目 录 1  特征工程1.1  什么是特征工程1.2  为什么特征工程很重要1.2.1  增加了模型选择的灵活性1.2.2  使参数优化变得简单1.2.3  得到更好的结果1.3  特征工程在机器学习中的步骤1.4  怎样做特征工程1.5...
机器学习初学代码（二） 线性判别分析LDA（二分类）
07-09 356
两类，周志华书西瓜例子： # -*- coding: utf-8 -*- # author: Xin Chen from __future__ import division import numpy as np import pandas as pd import matplotlib....
Python实现线性判别分析(LDA)的MATLAB方式
09-18
今天小编大家分享一篇Python实现线性判别分析(LDA)的MATLAB方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
线性判别分析（LDA）理解
weixin_41767872的博客
09-29 2044
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习方法，主要用于降维和分类问题。其基本思想可以总结如下：目标：LDA的主要目标是找到一个线性变换，将原始高维数据映射到一个低维空间，同时最大化不同类别之间的可分性，从而实现降维和分类的双重目标。类别判别性：LDA的关键思想在于最大化不同类别之间的类别判别性，即不同类别的数据在映射后要尽可能分开，同一类别的数据要尽可能聚集在一起。
Python实现二分类knn算法
羽路星尘的博客
12-23 1554
博主按照KNN原理手写的算法，水平有限，如有错误可在评论区指正，谢谢。 # coding=UTF-8 # 定义排序索引 def getdistance(item): return item[0] def knn(point, datas, kind, k=3): distance = [] # 计算曼哈顿距离 for i in datas: distance.append([abs(i[0] - point[0] + i[1] - point[1]),
机器学习之线性判别分析（LDA）详解（附多维红酒数据集的LDA降维代码实现）
weixin_40247876的博客
07-07 2274
机器学习20_线性判别分析（LDA）详解（2021.07.07） 一. 究极总结： 投影后类内方差最小，类间方差最大。 二. 知识理解 LDA的思想非常朴素，给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。在对新样本进行分类时，将其投影到同样的这条直线上，在根据投影点的位置来确定新样本的类别。如下图所示： 在将所有的点通过降维的思想投影到直线上之后，实现了所谓的同类样例接近，异类样例远离的结果。如图中左边的理想情况，甚至可以找到一个法点以及它的法线
机器学习LDA——实验报告
weixin_51128278的博客
06-20 2900
机器学习实验报告2：LDA
LDA主题模型的简单理解
NirvanaZhouzhou的博客
08-26 1074
在LDA主题模型中，一篇文档可以包含好几个主题，每个主题可以生成一系列词。 LDA是怎么运作的呢？ 1、从主题分布中，为每篇文档选定一个主题。 2、从上述主题所对应的单词分布中抽取一个单词。 3、重复上述过程直至遍历文档中的每一个词汇。 解释： w代表词，d代表文档，t代表主题。 LDA的核心公式是：*P(w|d)=P(w|t)P(t|d) P(w|d)是可观测的。P(w|t)、P(t|d)待求。 首先假设两种分布： 文档对应到不同主题的概率如（1），主题生成不同单词的概率如（2） P(t|d)可以由（1
LDA 线性判别分析模型
Running_Tiger的博客
04-08 1216
LDA 线性判别分析模型线性判别分析（Linear Discriminant Analysis，LDA）是一种可作为特征抽取的技术，可以提高数据分析过程中的计算效率，同时对于不适用于正则化的模型，它可以降低模型灾难带来的过拟合。1、LDA 的概念与 PCA 区别与联系 1.PCA 试图在数据集中找到方差最大的正交主成分量的轴，而 LDA 的目标是发现可以最优化分类的特征子空间。LDA 和 PCA 都
机器学习：线性判别分析LDA（Python）
2302_78896863的博客
02-02 1636
【代码】机器学习：线性判别分析LDA（Python）
Python实现LDA：线性判别分析的MATLAB风格
"这篇资源介绍了如何使用Python实现线性判别分析（LDA），并对比了LDA与主成分分析（PCA）的区别。LDA是一种经典的模式识别算法，旨在通过投影高维样本到最佳鉴别矢量空间来提高分类效果，同时保持最大类间距离和...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI大模型前沿研究

感谢您的打赏，我会继续努力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值