Python28-7.1降维算法之LDA线性判别分析

最新推荐文章于 2024-10-22 16:15:00 发布
原创 最新推荐文章于 2024-10-22 16:15:00 发布 · 1k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #人工智能 #机器学习

线性判别分析（Linear Discriminant Analysis, LDA）是一种用于模式识别和机器学习的分类和降维技术。LDA通过找到能最大化类别间方差和最小化类别内方差的投影方向，实现样本的降维和分类。

LDA的基本思想

LDA的核心思想是通过线性变换将数据投影到一个新的空间中，使得同一类别的样本尽可能地紧凑在一起，而不同类别的样本尽可能地分开。具体来说，LDA的目标是找到一个或多个线性判别向量，使得类内散度矩阵（within-class scatter matrix）最小化，而类间散度矩阵（between-class scatter matrix）最大化。

LDA的数学公式

  1. 类内散度矩阵（Within-class scatter matrix）:

其中，(S_i) 表示第 (i) 类的散度矩阵，计算方式为:

(mu_i) 是第 (i) 类的均值向量，(C_i) 是第 (i) 类的样本集合。

  1. 类间散度矩阵（Between-class scatter matrix）:

    其中，(N_i) 是第 (i) 类的样本数量，(mu_i) 是第 (i) 类的均值向量，(mu) 是所有样本的全局均值向量。

  2. 线性判别准则: 通过求解以下特征值问题来找到投影向量:

    其中，(w) 是判别向量，(\lambda) 是对应的特征值。最大的特征值对应的特征向量是最佳投影方向。

LDA的步骤

  1. 计算每个类别的均值向量。

  2. 计算类内散度矩阵和类间散度矩阵。

  3. 求解特征值和特征向量，找到最佳投影方向。

  4. 将数据投影到新的空间，进行分类或降维。

LDA的应用

  • 分类问题：LDA可以用于二分类或多分类问题，常用于人脸识别、文本分类<

最低0.47元/天 解锁文章
Python:实现linear discriminant analysis线性判别分析算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
07-29 452
Python:实现linear discriminant analysis线性判别分析算法(附完整源码)
MATLAB算法实战应用案例精讲-【数模应用】线性判别分析（附MATLAB、python和R语言代码实现）
qq_36130719的博客
06-25 861
线性判别分析是一种很重要的分类算法，同时也是一种降维方法（这个我还没想懂）。和 PCA 一样，LDA 也是通过投影的方式达到去除数据之间冗余的一种算法。如下图所示的 2 类数据，为了正确的分类，我们希望这 2 类数据投影之后，同类的数据尽可能的集中（距离近，有重叠），不同类的数据尽可能的分开（距离远，无重叠），左图的投影不好，因为 2 类数据投影后有重叠，而右图投影之后可以很好地进行分类，因为投影之后的 2 类数据之间几乎没有重叠，只是类内重叠得很厉害，而这正是我们想要的结果。
机器学习：线性判别分析LDA（Python）
2302_78896863的博客
02-02 1599
【代码】机器学习：线性判别分析LDA（Python）
使用python实现LDA线性判别分析
qq_51544319的博客
04-02 4206
LDA（Linear Discriminant Analysis）线性判别分析是一种监督学习的线性分类算法，它可以将一个样本映射到一条直线上，从而实现对样本的分类。LDA的目标是找到一个投影轴，使得经过投影后的两类样本之间的距离最大，而同一类样本之间的距离最小。LDA的过程可以分为以下几步：1.计算每个类别的均值向量。2.计算类内散度矩阵（Within-class scatter matrix）。类内散度矩阵是各类别中所有样本与各自均值向量之差的协方差矩阵之和。
吴裕雄 python 机器学习——线性判断分析LinearDiscriminantAnalysis
weixin_30872867的博客
04-29 1128
import numpy as np import matplotlib.pyplot as plt from matplotlib import cm from mpl_toolkits.mplot3d import Axes3D from sklearn.model_selection import train_test_split from sklearn imp...
机器学习13-LDA线性判别分析-python
tanliqing2010的博客
12-18 608
1. 原理推导 2. python简单实现 def center(data_mat, target): clf_list = set(target) data = [] for clf in clf_list: data.append(data_mat[target == clf]) center0 = [] for d...
数据处理和分析之数据降维：t-SNE算法原理详解
最新发布
2401_87715305的博客
10-22 1141
t-SNE算法是一种强大的非线性降维技术，它通过保持数据点之间的局部相似性，有效地将高维数据映射到低维空间，特别适用于数据可视化。然而，它也有其局限性，包括计算复杂度高和对参数敏感等。在实际应用中，选择合适的降维方法需要根据具体的数据特性和任务需求来决定。在调整t-SNE算法的参数时，学习率和困惑度是两个需要特别关注的参数。学习率影响算法的收敛速度和数据点在低维空间中的分布，而困惑度则决定了算法在低维空间中保留数据点局部还是全局结构的程度。通过实验和观察，可以找到最适合特定数据集和分析需求的参数设置。
机器学习判别分析算法——线性判别分析和二次判别分析实操代码详解（3）
qq_45932996的博客
08-30 2244
以“数据7.1”文件中的数据为例进行讲解。​“数据7.1”文件记录的是某商业银行在山东地区的部分支行的经营数据（虚拟数据，不涉及商业秘密）​，案例背景是该商业银行正在推动支行开展转型，实现所有支行的做大做强。数据文件中的变量包括这些商业银行全部支行的​、​。V1（转型情况）又分为3个类别：​“0”表示“未转型网点”​，​“1”表示“一般网点”​，​“2”表示“精品网点”​。​“数据7.1”文件中的数据内容如图所示。
机器学习判别分析算法——线性判别分析和二次判别分析基本原理（1）
qq_45932996的博客
08-29 1740
判别分析算法最早由Fisher在1936年提出，是一种经典而常用的机器学习方法，本质上也是一种线性算法，常用来做特征提取、数据降维和任务分类，可用于二分类或多分类问题，在人脸识别或检测等领域发挥了重要作用。
基于 Python 的 11 种经典数据降维算法|线性-LDA(Linear Discriminant Analysis)降维算法
weixin_40801364的博客
12-15 580
线性- LDA(Linear Discriminant Analysis)降维算法 LDA 是一种可作为特征抽取的技术，其目标是向最大化类间差异，最小化类内差异的方向投影，以利于分类等任务即将不同类的样本有效的分开。LDA 可以提高数据分析过程中的计算效率，对于未能正则化的模型，可以降低维度灾难带来的过拟合。 LDA 降维算法展示 详细内容可参见《数据降维—线性判别分析(LDA)》： ht...
linear-discriminant-analysis-python:在python中进行线性判别分析
05-02
线性判别分析Python 在python中进行线性判别分析
Linear-Discriminant-Analysis-Using-Python:使用Python和使用KNN分类器进行分类来实现线性判别分析
05-12
使用python的 先决条件 您必须具备以下方面的知识： * Python * Linear Algebra 安装 该项目完全基于python。 因此，计算所需的必要模块是： * Numpy * Sklearm * Matplotlib * Pandas 在Windows平台上安装上述模块所需的命令是： pip install numpy pip install sklearn pip install matplotlib pip install pandas 我们可以通过导入模块来验证模块的安装。 例如： import numpy from sklearn . discriminant_analysis import LinearDiscriminantAnalysis impor
python-LDA, lda算法的python实现
07-20
LDA算法的Python实现，请尊重原作者的劳动成果，记得引用。
特征提取数据降维PCA、LDA、MDS、LLE、TSNE等降维算法的python实现.zip
03-10
特征提取数据降维PCA、LDA、MDS、LLE、TSNE等降维算法的python实现
降维算法-LDA线性判别分析实例
WHYbeHERE的博客
07-30 4232
- 线性判别分析LDA的基本概念 - 代码实例：第一部分使用python详细说明了LDA的计算过程； 第二部分记录了如何使用sklearn完成LDA。
python 实现linear discriminant analysis线性判别分析算法
luthane的博客
09-26 836
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种用于降维和分类的监督学习算法。它通过最大化类间散度和最小化类内散度来找到最佳投影方向，使得不同类别的数据在新的空间中尽可能分开，同一类别的数据尽可能靠近。LDA的基本思想LDA的基本思想是将多维数据映射到低维空间，同时保留数据之间的类别差异。具体来说，LDA通过计算类内散度矩阵（描述同一类别内部数据的分布情况）和类间散度矩阵（描述不同类别之间的差异），然后求解这两个矩阵的广义特征值问题，找到最佳的投影方向。
线性判别分析（Linear Discriminant Analysis）（二）
ytlcainiao的专栏
05-24 1220
4. 实例       将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。             PCA与LDA的降维对比：             PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。       LDA既然叫做线性判别分析，应该具有一定的预测功能，比如新来一个样例x，如何确定其类别？       拿二值分来来
Python：线性判别分析(Linear Discriminant Analysis)手工代码实现
DeniuHe的博客
03-12 1831
LDA线性判别分析 实现有监督降维，代码将iris数据降到2维 """ Auther:Deniu He Date:2021-03-12 """ import numpy as np from sklearn.datasets import load_iris import matplotlib.pyplot as plt class LDA(): def __init__(self,X,y): self.X = X self.y = y s..
Python实现LDA和KNN人脸识别模型(LinearDiscriminantAnalysis和KNeighborsClassifier算法)项目实战
张陈亚的博客
11-22 2055
Python实现LDA和KNN人脸识别模型(LinearDiscriminantAnalysis和KNeighborsClassifier算法)项目实战
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值