机器学习——LDA

最新推荐文章于 2025-08-14 16:42:00 发布
原创 最新推荐文章于 2025-08-14 16:42:00 发布 · 1.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #降维

本文详细介绍了LDA（线性判别分析）的步骤，包括计算类内散度矩阵、类间散度矩阵，以及如何通过求解特征值和特征向量来构建投影矩阵W，实现数据的降维。主要目标是最大化类别间的中心距离并最小化同类样本的协方差。

步骤：

1 计算类内散度矩阵S_w

2 计算类间散度矩阵S_b

3 计算矩阵S_w^{-1}S_b

4 计算矩阵S_w^{-1}S_b的最大值的d个特征值

5 计算d个特征值对应的d个特征向量，计算投影矩阵为W

6 输出新样本集\bar{D}={(p1,y1),(p2,y2)...(pm,ym)}

具体推导：

定义：

N_j(j=0,1) j 类样本个数       X_j(j=0,1) j 类样本集合        u_j(j=0,1) j 类样本均值  \sum_j(j=0,1) j 类协方差矩阵

u_j = \frac{\sum _{x\varepsilon X_j}x}{N_j} 均值             \sum j=(x-u_j)(x-u_j)^T 协方差矩阵

主要目标思想：1 最大化类别的数据中心距离   \left \| w^Tu_0-w^Tu1\right \|_2^2

                         2 最小化同类样本的协方差   w^T\sum _0w+w^T\sum _1w

类内散度：S_w =\sum_0 + \sum_1 = \sum_{X0}(x-u0)(x-u0)^T + \sum_{X1}(x-u1)(x-u1)^T

类间散度：S_b=(u_0-u_1)(u_0-u_1)^T

优化目标：J（w）=\frac{\left \| w^Tu_0-w^Tu1\right \|_2^2}{w^T\sum _0w+w^T\sum _1w}=\frac{w^TS_bw}{w^TS_ww}

求导 =>{​{J_w}'} =\frac{(w^TS_ww)2S_bw-(w^TS_bw)2S_ww)}{(w^TS_ww)^2}=0   (注释：(w^TS_ww)与(w^TS_bw)为标量)

        =>  S_w^{-1}S_bw=\lambda w

这就转化成一个求取特征值与特征向量的问题，可以利用SVD分解

将得到的

计算矩阵S_w^{-1}S_b的最大值的d个特征值

计算d个特征值对应的d个特征向量，计算投影矩阵为W

输出新样本集\bar{D}={(p1,y1),(p2,y2)...(pm,ym)}

对于多分类相似，不再赘述，可参考:https://zhuanlan.zhihu.com/p/27899927

 

 

 

线性判别分析(Linear Discriminant Analysis, LDA）(含类内散度矩阵 类间散度矩阵 全局散度矩阵推导
0ng的博客
04-09 9645
LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后...
类内与类间散度矩阵
wansui60的博客
05-31 4069
def cacuSW(train_face,k): #train_face：行为样本，所有训练图像组成的矩阵，每个类别有k个图像为训练 sw=np.zeros([train_face.shape[1],train_face.shape[1]]) meanlei=np.zeros([40,10304])#计算40个类中，每个类的平均 meanlei=[] for i in range(0,train_face.shape[0],k): train0=train_
总类内散度阵、总类间散度阵、某类数据的类内散度矩阵 python
wansui60的博客
06-22 4317
def cacuSW(train_face,k):#利用总的样本矩阵计算总的类内散度矩阵 #train_face：行为样本，所有样本矩阵，每k行为一类为 m,n=train_face.shape sw=np.zeros([n,n])#大小为特征数*特征数 meanlei=np.zeros([40,n])#计算40个类中，每个类的平均 meanlei=[] for i in range(0,m,k): train0=train_face[i:i+k,:]
LDA
macb007的博客
07-06 1230
#-*- coding:utf8 -*- from nltk.tokenize import RegexpTokenizer from stop_words import get_stop_words from nltk.stem.porter import PorterStemmer from gensim.models.ldamodel import LdaModel from gensim ...
详解线性判别分析(LDA)
yellowetao的博客
10-04 4290
本文着重于思想的理解与公式的推导~ Linear Discriminant Analysis（LDA）是一种经典的线性学习方法，亦称“Fisher判别分析法” 注意：本文中的 基本思想： 找到一条直线（低维空间），使得将平面（高维空间）中的样本点投影到直线（低维空间）中，尽量使得同类样本点接近，异类样本点远离，判断新样本：当将新样本投影后，根据其投影后的位置判断其类别。 投影： 什么叫样本点投影到直线上：将点（原点指向样本点的向量）投影...
10.机器学习——主题模型(Topic Model) LDA
最新发布
kaszxc的博客
08-14 970
LDA（隐含狄利克雷分布）是一种概率主题模型，用于从文档集中反推主题分布。其核心思想是：文档由多个主题混合生成，每个主题又对应一个词语分布。LDA的生成过程涉及狄利克雷分布、多项分布等概率模型，并通过共轭先验和贝叶斯框架实现参数推断。与基础模型（Unigram、Mixture of unigrams和pLSA）相比，LDA的突破在于引入贝叶斯框架，允许文档包含多个主题。模型通过Gibbs采样等方法进行参数估计，广泛应用于文本聚类、分类和信息检索。
机器学习——十大算法
Like_July_moon的博客
03-16 2万+
线性回归是机器学习中最基础也是应用最广泛的算法之一。它主要用于预测一个或多个自变量（输入特征）与一个因变量（输出标签）之间的线性关系。线性回归模型试图找到一条直线（在二维空间中）或一个超平面（在更高维空间中），使得所有数据点到这条直线或超平面的垂直距离之和最小，这样的直线或超平面称为最佳拟合线或最佳拟合超平面。线性回归模型通常表示为：其中：*y 是因变量，即我们想要预测的输出。*x 是自变量，即输入特征。*w 是权重，表示每个特征对输出影响的程度。
机器学习LDA——实验报告
weixin_51128278的博客
06-20 2992
机器学习实验报告2：LDA
机器学习——线性判别分析（LDA）推导
2301_82047153的博客
01-16 1222
1.点到直线的投影均值与协方差：分别为第类示例的集合，均值向量，协方差矩阵。样本中心在直线上的投影为，样本的协方差为。2.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，可以表示矩阵之间的距离。3.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得。
机器学习——线性判别准则（LDA）和线性分类算法（SVM）
羚漆的博客
11-05 3254
目录酱一、LDA与SVM简介二、LDA实现代码三、SVM数据集进行可视化分类1. 线性核2. 多项式核3. 高斯核四、总结参考链接 一、LDA与SVM简介 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数据降维方法。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。 在机器学习中，支持向量机（SVM）
计算类内散度矩阵和类间散度矩阵实例
m0_62879974的博客
10-10 1万+
计算类内散度矩阵和类间散度矩阵实例
类间散度矩阵和类内散度矩阵
热门推荐
心旷神怡
08-03 3万+
LDA中的三个散度矩阵
cj_to_niu
05-07 2730
转载出处：https://blog.youkuaiyun.com/Oxalis_Triangularis/article/details/47420521LDA中的三个散度矩阵在学习LDA（Linear Discriminate Analysis）的时候接触到了散度矩阵的概念，并且很多文章提到到混合散度矩阵等于类间散度矩阵与类内散度矩阵之和。我自己证明了一下。总体散度矩阵（total scatter matr...
深度学习笔记3-机器学习基础（续1）
2503_90568059的博客
02-19 1821
梯度下降法在直线搜索时可能会遇到学习率选择困难、局部最优、梯度消失或爆炸、震荡等问题。这些问题在高维非凸优化问题（如深度学习）中尤为突出。通过改进优化算法、调整学习率策略和初始化方法，可以有效缓解这些问题，提升梯度下降法的性能。------来自Deepseek回答。
2020-05-07
耶耶耶的博客
05-07 1005
人工智能与机器学习第10周 在理解Fisher线性分类的参考文件的代码基础上（matlab代码），改用python代码完成Fisher判别的推导。重点理解“群内离散度”（样本类内离散矩阵）、“群间离散度”（总类内离散矩阵）的概念和几何意义 基本概念 “群内离散度”要求的是距离越远越好;而"群间离散度”的距离越近越好由.上可知:“群内离散 度”(样本类内离散矩阵)的计算公式为因为每一个样本有多维数据...
LDA（Fisher判别）
秋人别院
09-07 930
核心思想现在要找一个直线，如何将这两个类最大限度的分开，直观的如果找一个投影法相，就像下面两个图，右边的结果更好：它阐述了一个怎样的准则： 类间最大，类内最小！类内最小在一个类中来说，每一个样本要尽可能地靠近类地中心，类的中心在哪？mi=1Ni∑xj∈Xixjm_i=\frac 1 N_i \sum_{x_j \in X_i} x_j怎样表示类内最小？使用类内离散度矩阵表示：Si=∑xj∈Xi(xj
线性判别分析—Fisher判别（LDA）
m0_57957153的博客
09-09 1873
LDA线性判别分析实例（选用乳腺癌数据集）
线性分类器之Fisher线性判别
Rainbow0210的博客
10-22 2万+
在前文《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并非易事，在特征空间维数较高和样本数量较少的情况下尤为如此。 实际上，模式识别的目的是在特征空间中设法找到两类（或多类）的分类面，估计概率密度函数并不是我们的目的。 前文已经提到，正态分布情况下，贝叶斯决策的最优分类面是线性的或者是二次函数形式的，本文则着重讨论线性情况下的一类判别准则——Fisher判别准则。为了避免陷入复杂
机器学习：Linear Discriminant Analysis（过程详解+实例代码MATLAB实现
ニャンコちゃん的博客
10-28 1万+
目录LDA概念线性判别分析（LDA）-二分类举个例子线性判别分析-多分类Experiment 3: Linear Discriminant AnalysisLDA二分类讲解LDA二分类代码LDA多分类讲解LDA多分类代码 LDA概念 线性判别分析（Linear Discriminant Analysis）是一种有监督学习的降维方法，用于找到分隔两个或多个对象类的特征的线性组合。 也就是给定有标签的数据集，利用LDA实现一个较好的分类。谈及分类，那么就说一说特征提取： 特征提取（维数约简/特征约简）是指将原始
经典机器学习工具包——spider_jul2406
机器学习作为人工智能领域的一个重要分支，近年来发展迅速，在各种数据分析和智能应用中扮演着关键角色。Matlab是MathWorks公司开发的一款高性能的数值计算和可视化软件，广泛应用于工程计算、数据分析、算法开发等...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值