线性判别分析LDA降维只能降到“类别数-1”的原因

最新推荐文章于 2024-08-25 10:33:06 发布
原创 最新推荐文章于 2024-08-25 10:33:06 发布 · 4.7k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#线性判别分析 #LDA

博客指出线性判别分析（LDA）中，类间散度矩阵Sb的秩最大为“类别数 - 1”，计算特征向量矩阵（类内散度矩阵Sw的逆×类间散度矩阵Sb）时，只有“类别数 - 1”个特征值不为零的特征向量，这与PCA不同。

       关键点在于类间散度矩阵Sb的秩最大为“类别数-1”，所以在计算特征向量矩阵（类内散度矩阵Sw的逆×类间散度矩阵Sb）时，可以发现只有“类别数-1”个特征值不为零的特征向量。这点和PCA是不同的。

 

小Tip:被这个问题困扰了一天，以上是查阅资料+推导得出的结论，如果不对，欢迎指正哦~

LDA 线性判别分析(降维)——还没看懂
起飞的木木的博客
03-24 3091
转载自：http://www.cnblogs.com/pinard/p/6244265.html， https://blog.youkuaiyun.com/weixin_40604987/article/details/79615968介绍的比较详细 降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA） LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像...
线性判别分析(LDA)详解
tt丫的博客
05-14 2万+
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 目录 一、LDA简介 二、数学原理（以二分类为例子） 1、设定 2、每一类的均值和方差 3、目标函数 4、目标函数的求解 三、多分类LDA 四、LDA用途与优缺点 1、用途 2、优点 3、缺点 五、LDA的python应用 1、调用函数LinearDiscriminantAnalysis 2、常用参数意义 3、常用返回值 4、利用LDA进行二分类实例 5、利用LDA进
人工智障学习笔记——机器学习(12)LDA降维
九日王朝
12-13 1万+
一.概念 LDA：Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)。与PCA一样，是一种线性降维算法。不同于PCA只 会选择数据变化最大的方向，由于LDA是有监督的（分类标签），所以LDA会主要以类别为思考因素，使得投影后的样本尽可能可分。它通过在k维空间选择一个投影超平面，使得不同类别在该超平面上的投影之间的距离尽可能近
机器学习 | 降维：LDA
知识库搭建ing
05-30 4363
给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。
机器学习之降维方法（LDA、PCA）小结
weixin_42028608的博客
01-02 5822
1 线性判别分析(LDA) LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。一句话来概括LDA的核心思想，【投影后类内方差最小，类间方差最大】。我们将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，如下图所示 2.LDA原理及公式推导 目标函数已经得到，接下来是优化目标函数找到有一组最优鉴别矢量构...
特征变换以及维度下降——Linear Discriminant Analysis（一）
James Zhang's Blog
02-21 3393
线性判别分析（Linear discriminant analysis, LDA），是一种监督学习算法，也叫做Fisher线性判别（Fisher Linear Discriminant, FLD），是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。
LDA（线性判别分析）--基础降维算法
m0_74194861的博客
07-12 4452
关于LDA的个人·全部总结
python实现线性判别分析 (LDA) 降维算法
qq_42568323的博客
08-25 1718
通过LDA算法，我们可以在保证分类信息的前提下将高维数据投影到低维空间，从而减少计算复杂度并提高分类效率。本文展示了LDA的数学原理、Python实现以及在手写数字识别中的应用。通过面向对象编程的方式，我们实现了一个LDA类，集成了训练、投影和分类功能，便于在各种分类问题中应用LDA算法。
lda 降维 iris matlab,用线性判别分析 LDA 降维
weixin_30222083的博客
03-17 1027
本文结构：什么是 LDA和 PCA 区别LDA 投影的计算过程LDA 降维的例子1. 什么是 LDA先说判别分析，Discriminant Analysis 就是根据研究对象的各种特征值，判别其类型归属问题的一种多变量统计分析方法。根据判别标准不同，可以分为距离判别、Fisher 判别、Bayes 判别法等。例如，在 KNN 中用的是距离判别，朴素贝叶斯分类用的是 Bayes 判别，线性判别分析用...
Scikit-Learn中的线性判别分析（LDA）降维应用
最新发布
09-24
内容概要：本文系统地介绍了Scikit-Learn工具包下关于线性判别分析（LDA）降维方法的操作流程与实践技巧，并通过具体案例进行了深入剖析对比了两种常见的非监督降维法—主成分分析法（PCA）与监督降维技术LDA之间的...
LDA-原理解析
热门推荐
weixin_NineDays66
09-07 9万+
前言 在之前的一篇博客机器学习中的数学(7)——PCA的数学原理中深入讲解了，PCA的数学原理。谈到PCA就不得不谈LDA，他们就像是一对孪生兄弟，总是被人们放在一起学习，比较。这这篇博客中我们就来谈谈LDA模型。由于水平有限，积累还不够，有不足之处还望指点。下面就进入正题吧。 为什么要用LDA 前面的博客提到PCA是常用的有效的数据降维的方法，与之相同的是LDA也是一种将数据降维的方法。P...
【机器学习】二分类+多分类LDA线性判别分析降维算法的原理与推导
weixin_46564151的博客
03-06 4435
二分类+多分类LDA线性判别分析降维算法的原理与推导
2020-12-11
weixin_43559088的博客
12-11 336
LDA（线性判别分析）降维最多只能降到’类别数-1’维 因为在LDA算法中需要计算类间散度矩阵Sb和类内散度矩阵Sw。 原数据降维到W，有n行d列，矩阵W的列是Sw−1SbSw^{-1}SbSw−1Sb的特征向量，因为Sb的秩最大为k-1，最多有k-1个特征向量，所以W最多有k-1列 ...
LDA和PCA降维的原理和区别
a15819095733的博客
10-02 743
LDA算法的主要优点有： 在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。 LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。 LDA算法的主要缺点有： LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。 LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然...
通俗易懂的LDA降维原理
LOLUN9的博客
05-23 8779
目录 例子 LDA降维 在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为数据内部的离散程度。而LDA不同于PCA的是它是一种有监督的降维方法。下面举一个小例子来直观的说明PCA和LDA的不同降维方法...
转：数据标准化/归一化normalization
weixin_30612769的博客
07-19 832
转自：数据标准化/归一化normalization 这里主要讲连续型特征归一化的常用方法。离散参考[数据预处理：独热编码（One-Hot Encoding）]。 基础知识参考： [均值、方差与协方差矩阵 ] [矩阵论：向量范数和矩阵范数 ] 数据的标准化（normalization）和归一化 ...
降维算法之LDA原理推导
xiaoweidz9的博客
04-11 4814
    6. LDA算法的主要优点有：1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。7.LDA算法的主要缺点有：1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些...
LDA中的三个散度矩阵
cj_to_niu
05-07 2721
转载出处：https://blog.youkuaiyun.com/Oxalis_Triangularis/article/details/47420521LDA中的三个散度矩阵在学习LDA（Linear Discriminate Analysis）的时候接触到了散度矩阵的概念，并且很多文章提到到混合散度矩阵等于类间散度矩阵与类内散度矩阵之和。我自己证明了一下。总体散度矩阵（total scatter matr...
线性判别分析LDA：从降维到类别分离
线性判别分析（LDA）是一种有监督的降维方法，与无监督的主成分分析（PCA）不同，LDA考虑了类别标签信息。在多类分类问题中，LDA旨在找到一个低维空间，使得类内样本的差异最小，而类间样本的差异最大，以此提高分类...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值