LDA(线性判别回归)

最新推荐文章于 2024-03-06 10:47:51 发布
最新推荐文章于 2024-03-06 10:47:51 发布
阅读量2.3k 收藏 6
点赞数 1
文章标签： LDA线性判别回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_25843519/article/details/85333767
版权
LDA是一种有监督的降维算法，旨在保持类别间差异的同时降低数据维度。它假设不同类别的样本服从均值不同的高斯分布，并通过最大化类间距离与最小化类内距离来实现。LDA的目标函数是类间散度与类内散度的比值，通过求解特征值问题得到投影向量。在PCA不能有效降维或Sw逆矩阵不存在时，可以先用PCA预处理再进行LDA。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LDA线性判别回归

LDA降维的基本思想

  LDA和PCA一样都是降维算法，但不同的是LDA是有监督的降维算法，它的目的是将不同类别的数据降维后仍能较好的区别开。而PCA是无监督的算法，它的目的是将样本数据降维后仍保留样本数据间的方差。
  LDA认为不同类的样本服从均值不同的高斯分布，主要根据均值作为降维的导向，所以它在处理非高斯分布的数据，或者不同类别的高斯分布的均值相同时，分类效果不够好。LDA将原样本映射到一个超平面上，使同一个类别在这个超平面上尽可能集中，而不同类别在这个超平面上尽可能分开。

LDA计算

  设W为样本x映射到的超平面，设原数据x的维度为 d x d_x dx​，要映射到的维度为 d c d_c dc​，则 W ∈ A d x × d c W\in A^{d_x\times d_c} W∈Adx​×dc​。 x i x_i xi​映射到W上的点为 x ^ i \widehat x_i x i​,则 x ^ i = W T x i \widehat x_i=W^Tx_i x i​=WTxi​.
  上一节提到过，LDA认为不同类服从不同的高斯分布，则不同类的均值的距离越远越好，设投影前的类间距离为(下式中的C为数据集的类别数量,u为所有数据的均值点, N i N_i N

最低0.47元/天 解锁文章
花生酱卷
关注
LDA（线性判别分析，Linear Discriminant Analysis）
zhfplay的博客
02-08 2095
读完周志华教授的《机器学习》中的线性判别分析章节，他从LDA实现的效果角度对其进行了推导：类间间距要尽可能大，类内间距尽可能小的基本思想通过拉格朗日乘子法可以简单解出想要的结果。但是在章节的最后，教授提到：LDA可以从贝叶斯决策理论的角度来阐释，并可证明，当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类。 今天，我们从贝叶斯理论的角度来阐释一回神奇的LDA. 贝叶斯定理 我们先...
【自学笔记】线性判别分析LDA
最新发布
qq_40432278的博客
09-06 987
最后我们来比较一下PCA和LDA的差异，以便针对不同数据选择更好的处理方式。当然，GPT很乐意为此效劳。
线性模型：线性回归、逻辑回归、线性判别分析、多分类学习与类别不平衡问题
codelady_g的博客
10-12 1702
本文主要是学习周志华《机器学习》第三章的个人笔记，对线性模型进行了学习，欢迎交流学习。
【机器学习】线性模型 |线性回归，逻辑回归，线性判别分析的各种线性回归的原理和使用示例全解析
专注于人工智能的算法与应用
03-06 1827
线性模型我们主要讲解几个经典的线性模型线性模型很大程度上是非线性网络，深度学习的基础~主要有三个内容1 线性回归（又分为一元线性回归和多元线性回归）2 对数几率回归（也称为逻辑回归）3 线性判别分析。
【机器学习】线性模型（线性回归、Logistic回归、LDA）
weixin_63062756的博客
02-04 1463
最小二乘法求线性回归、logistics回归、LDA、多分类问题
机器学习西瓜书第三章学习笔记-线性模型（线性回归、对数几率回归、LDA）
weixin_42503655的博客
10-05 1023
机器学习西瓜书第三章学习笔记-线性模型（线性回归、对数几率回归、LDA）
LDA线性判别分析.rar
03-17
线性判别分析（LDA，Linear Discriminant ...以上就是关于LDA线性判别分析的详细解释，包括其原理、步骤、优缺点以及如何在实际代码中实现。通过理解和掌握LDA，我们可以有效地处理高维数据，构建更高效的分类模型。
线性判别式分析(Linear Discriminant Analysis, LDA)MATLAB实现
11-05
线性判别式分析（Linear Discriminant Analysis, LDA）是一种经典的统计方法，常用于特征降维和分类问题。在机器学习领域，LDA通过最大化类间距离与类内距离的比值，来寻找能够最好区分不同类别的新特征空间。MATLAB...
机器学习——线性判别分析（LDA）推导
2301_82047153的博客
01-16 1090
1.点到直线的投影均值与协方差：分别为第类示例的集合，均值向量，协方差矩阵。样本中心在直线上的投影为，样本的协方差为。2.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，可以表示矩阵之间的距离。3.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得。
二维样本数据和标签回归及LDA代码实现
qq_42744739的博客
04-13 702
二维样本数据和标签回归及LDA代码实现 1、先上效果图： 纠正一下横纵坐标，横坐标为x1,纵坐标为x2，这是样本与标签回归的二维结果图。 2、LDA结果图： 图中的是投影直线和分类面 3、上代码： 样本通过高斯分布生成的随机数，标签为+1，-1. import numpy as np import matplotlib.pyplot as plt from matplotlib.pyplot import MultipleLocator from sklearn import model_select
机器学习和数据科学：机器学习和数据挖掘：回归[线性（选择和收缩，降维，超出线性范围）和非线性回归（逻辑，K-NN，树）]，交叉验证（LOOCV，K -折数，偏差与方差，分类（LDA，QDA，K-NN，物流，树，SVM），聚类（PCA，K-Means，分层）本课程将介绍数据挖掘统计学习中的主要主题，包括：统计基础，数据可视化，分类，回归，聚类。 重点将放在统计学习方法，其背后的模型，直觉和假设以及对实际问题的应用上。 您可以在stats 415项目文件夹中找到我的最终项目。 项目摘要实施整个学期学习的所有
02-14
机器学习与数据科学 机器学习和数据挖掘：回归[线性（选择和收缩，降维，超出线性范围）和非线性回归（逻辑，K-NN，树）]，交叉验证（LOOCV，K折，偏差与方差） ，分类（LDA，QDA，K-NN，物流，树，SVM），聚类（PCA，K-Means，分层）本课程将介绍数据挖掘/统计学习的主要主题，包括：统计基础，数据可视化，分类，回归，聚类。 重点将放在统计学习方法，其背后的模型，直觉和假设以及对实际问题的应用上。 您可以在stats 415项目文件夹中找到我的最终项目。 项目总结 实施整个学期学习的所有分类器，以预测通过BMI分类的美国肥胖率，其中最佳分类器为7倍KNN，预测准确性为81.54％ 分析模型选择方法以提供最佳模型并找到最佳预测因子； 结论是可以根据收入，饮食习惯，运动习惯和购物习惯来非参数地预测BMI
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC...
拓端研究室TRL
08-16 146
全文链接:http://tecdat.cn/?p=27384在本文中，数据包含有关葡萄牙“Vinho Verde”葡萄酒的信息（点击文末“阅读原文”获取完整代码数据）。介绍该数据集（查看文末了解数据获取方式）有1599个观测值和12个变量，分别是固定酸度、挥发性酸度、柠檬酸、残糖、氯化物、游离二氧化硫、总二氧化硫、密度、pH值、硫酸盐、酒精和质量。固定酸度、挥发性酸度、柠檬酸、残糖、氯化物、游离二...
机器学习笔记（三）
kuyuguoheqi的博客
07-17 521
线性回归属于有监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（costfunction最小）即可。逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，最大的区别就在于它们的因变量不同，如果是连续的，就是多重线性回归；对比方差和协方差的公式可以看出两者很像，但方差的结果是大于等于0的，当等于0时，说明样本的x特征取值唯一，反应的样本的x特征的离散程度；......
机器学习入门例程：Iris 线性回归模型之——逻辑斯蒂回归模型&LDA模型
芸兮的博客
06-19 3894
Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（Setosa, Versicolour, Virginica）中的哪一品种。本文就该数据集进行简单的机器学习入门代码操作实验，分别采用逻辑斯蒂回归模型、LDA（线性判别分析）模型训练一个Setosa 和Versicolor的线性分类器，并可视化线性分类效果，比较两种
机器学习之降维方法（LDA、PCA）小结
weixin_42028608的博客
01-02 5745
1 线性判别分析(LDA) LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。一句话来概括LDA的核心思想，【投影后类内方差最小，类间方差最大】。我们将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，如下图所示 2.LDA原理及公式推导 目标函数已经得到，接下来是优化目标函数找到有一组最优鉴别矢量构...
数据降维之LDA&PCA
zxhohai的博客
10-06 9172
数据降维之LDA&PCA我们都知道机器学习算法的性能受到样本数据的特征维数的影响，特征维数越多，需要的训练数据也越大，机器学习算法所消耗的时间也越多，甚至成指数爆炸增长。同时过多的特征维数之间也可能存在相互关联的特征和一些噪声。因此，在训练机器学习算法之前，通常我们会对样本数据进行预处理，数据降维就是通常需要完成的一步。线性判别分析（LDA）线性判别分析属于有监督学习算法，也就是对于每一个给定的n维
R在市场调查中的应用--逻辑回归和LDA
JohnSuperD的博客
08-22 1955
我们一般接触的统计学习的模型多半是因变量Y为数值型的模型，这一类问题可以统称为回归（regression）问题，当Y不再是数值而是类别的时候，就需要使用类似逻辑回归、LDA之类的统计模型，而这一类的问题我们统称为分类（classification）问题。 在本文章中，我会简单介绍逻辑回归和LDA在R中的使用，并会比较两种模型的拟合效果。
LDA与最小二乘法的关系及其变种详解
weixin_33711647的博客
10-09 704
1 LDA与最小二乘法的关联 对于二值分类问题，令人惊奇的是最小二乘法和LDA分析是一致的。回顾之前的线性回归，给定N个d维特征的训练样例（i从1到N），每个对应一个类标签。我们之前令y=0表示一类，y=1表示另一类，现在我们为了证明最小二乘法和LDA的关系，改变训练目标： 就是将训练目标0/1做了值替换。我们列出最小二乘法代价函数： w和是拟合权...
判别模型:(LDA),QDA,KNN以及逻辑斯蒂回归（二）
G090909的博客
12-06 8366
四种方法的比较： 逻辑斯蒂和LDA方法是紧密相连的，都产生线性决策边界，两者只是在拟合过程中有一些差异，所以两者得到的结果应该是接近的，但当LDA的前提假设-观测服从每一类协方差矩阵都相同的高斯分布-成立时，LDA应该比逻辑斯蒂回归能提供更好的结果。不同的是：逻辑斯蒂决策边界的参数是通过极大似然估计出来的，而LDA决策边界是通过估计正态分布均值和方差计算出来的。KNN分类器对决策边界的形状没有做出
LDA：线性判别分析在高维数据降维与分类中的应用
例如，“Logistic回归.docx”和“线性判别分析.docx”很可能是对这两种分类算法的详细讲解或教程。而“Fisher.m”和“logistic.m”则可能是用MATLAB编写的示例代码或实现这些算法的函数。这些资源对于深入理解LDA...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值