LDA(Linear Discriminant Analysis)

最新推荐文章于 2022-10-09 15:41:29 发布
最新推荐文章于 2022-10-09 15:41:29 发布
阅读量616 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nathan1025/article/details/81161917
本文深入浅出地介绍了LDA算法的基本思想，即“投影后类内方差最小，类间方差最大”。并通过实例详细解释了如何计算均值、类内散度矩阵(Sw)、类间散度矩阵(Sb)，以及如何求解特征值和特征向量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”

 

分子 即为 类间距离，采用协方差

分母即为类内距离

根据广义瑞丽商，

扩展到多类LDA

仔细观察上式最右边，这不就是广义瑞利商嘛！最大值是矩阵的最大特征值,最大的d个值的乘积就是矩阵的最大的d个特征值的乘积,此时对应的矩阵W为这最大的d个特征值对应的特征向量张成的矩阵。

https://www.cnblogs.com/pinard/p/6244265.html      理论

https://blog.youkuaiyun.com/jnulzl/article/details/49894041   实例+理论

http://people.revoledu.com/kardi/tutorial/LDA/Numerical%20Example.html   实例

https://blog.youkuaiyun.com/warmyellow/article/details/5454943   实例

以下为实例

1.计算均值

2.计算Sw

3.计算Sb

4.通过Sb跟Sw计算特征值以及特征向量

或者:

5.转换坐标

 

 

 

 

 

 

 

 

nathan%1
关注
Python:实现linear discriminant analysis线性判别分析算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
07-29 456
Python:实现linear discriminant analysis线性判别分析算法(附完整源码)
机器学习：线性判别分析（LDA）
YovcGit的博客
09-19 275
它通过找到一组新的特征空间，将数据投影到该空间中，使得不同类别的样本尽可能地分开，同一类别内的样本尽可能地接近。函数首先计算每个类别的均值向量，然后计算类内散布矩阵和类间散布矩阵。接下来，通过计算这两个矩阵的特征值和特征向量，并选择前k个特征向量作为投影方向。计算每个类别的均值向量：对于每个类别，计算该类别中所有样本的平均值，得到类别的均值向量。a. 对于每个类别，计算该类别中每个样本与均值向量的差异，形成差异矩阵。a. 计算所有类别的均值向量的差异，形成差异矩阵。a. 对类内散布矩阵进行逆矩阵操作。
Linear Discriminant Analysis(LDA)
MOON
03-12 8164
好久没有整理最近的一些算法了，今天趁着跑数据的过程整理一下LDA算法。该算法在很多地方都有使用：语音识别，说话人识别等等，那么今天在这里就为大家详细介绍一下，最终把matlab代码放在我的git上，有兴趣的可以去看一下，好了不多说，直接进入主题。 首先介绍一下LDA到底是什么？LDA是一种降维的方法，一提到降维，大家应该很熟悉PCA。那么PCA和LDA的区别是什么呢？我们简单的理解可以理解...
机器学习降维算法二：LDA（Linear Discriminant Analysis）
weixin_34242509的博客
11-24 221
很多基础知识有些遗忘了，也算作是一种复习。我尽量推导的关键的地方写写，建议大家还是要手动推一推公式增加理解。 Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！ 假设原始数据表示为X，（m*n矩阵...
LDA线性判别分析人脸识别MATLAB代码/ORL库
05-11
原创，测试识别率0.99，重构图像完全比不上PCA，但能满足分类要求。可下载后直接运行，并保存特征向量数据
2dlda人脸识别 matlab,利用2DPCA和2DLDA在ORL人脸数据库上做的人脸识别实验
weixin_33089349的博客
03-29 423
www.imdn.cn.htmlwww.imdn.cn.txt2DLDA.bmp2DPCA结果.bmpORL_2DPCA_2DLDA.m基于DWT_2DPCA和KPCA的人脸识别.pdforl\ORL001.BMPorl\ORL002.BMPorl\ORL003.BMPorl\ORL004.BMPorl\ORL005.BMPorl\ORL006.BMPorl\ORL007.BMPorl\ORL00...
Spark2.0机器学习系列之9： 聚类算法(LDA）
热门推荐
qq_34531825的博客
09-21 2万+
聚类算法 LDA Spark2.0代码
分割图像的类间差异和类内差异：基于Otsu算法的图像片段类间差异和类内差异计算-matlab开发
05-29
基于otsu算法计算类间方差（类/段之间）和类内方差（特定段内）的方法。 该算法的主要目标是获得类内方差的最小值和类间方差的最大值。 简而言之，一个段内的像素强度必须彼此接近，而不同段之间的像素强度必须很好地分开
LDA主题困惑度与主题距离计算方法（二）
02-28 4802
除了采用困惑度来衡量LDA主题最优数外（尽管该方法具有较大的随机性，很多人还是会采用困惑度来衡量）。对主题效果还有多种衡量方法，如主题内部一致性度量、主题间距离度量等。本文代码主要是计算主题间距离度量。距离度量还是采用cosin和k-l散度两种形式。 stpwrdpath = "all-excel/stop_words.txt" stpwrd_dic = open(stpwrdp...
美赛整理之投影寻踪模型及其求解
赛亚茂的博客
10-11 2万+
投影寻踪模型1.模型的简介和应用2.基本步骤：3.遗传算法求解模型的优化问题1.用MatlabMatlabMatlab的gagaga工具箱求解：2.遗传算法求解：3.LINGOLINGOLINGO工具箱求解 1.模型的简介和应用 投影寻踪是处理和分析高维数据的一类统计方法，其基本思想是将高维数据投影到低维（1～3维）子空间上，寻找出反映原高维数据的结构或特征的投影，以达到研究和分析高维数据的目的。1974年，美国Stanford大学的Friedman和Tukey首次将该方法命名为Projection Pur
PCA+LDA人脸识别
04-22
PCA+LDA降维，KNN分类器，实现人脸识别，数据集为ORL
求解广义瑞利商的和的最大值问题
04-25
The Rayleigh quotient plays a significant role in finding eigenvalues of symmetric matrices. Moreover, maximizing the sum of the Rayleigh quotient and the generalized Rayleigh quotient over the unit sphere has several applications in the real world. It can arise in the downlink of a multi-user multi-input and multi-output (MIMO) system and in the sparse Fisher discriminant analysis in pattern recognition [10]. The computation of the eigenvalues of matrices appears in a wide variety of problems in engineering and physical sciences. Indeed, eigenspace computation is used in several areas, such as control theory, signal processing, structural dynamics, and data mining.
基于LDA(fisherface)和KNN的人脸识别（matlab)
02-25
基于LDA(fisherface)和KNN的人脸识别 经典的fisherface算法（PCA+LDA)，人脸识别入门 分类器采用KNN matlab实现，内附ORL人脸训练库
广义瑞利商_瑞利商与极值计算
weixin_39832628的博客
12-28 1120
对于一个埃尔米特矩阵 及非零向量 ，定义瑞利商这里的 是 的共轭转置矩阵，如果 都由实数元素组成，那么瑞利商可以写成设 的特征值与特征向量分别为 ， ，并且有下面将证明，在 确定的情况下由于 是一个埃尔米特矩阵，所以存在一个酉矩阵 满足其中 ，将上式代入瑞利商假设 那么根据特征值的大小关系，可得如下不等式于是有设 的第 i 行，第 j 列元素为 ， 的第 i 行，第 j 列元...
线性判别分析 LDA（Linear Discriminant Analysis）
JiangMengYa
10-09 2104
线性判别分析 LDA，数学基础、及代码实现
线性判别分析LDA（Linear Discriminant Analysis）
qrlhl的博客
09-21 5010
1、简介大家熟知的PCA算法是一种无监督的降维算法，其在工作过程中没有将类别标签考虑进去。当我们想在对原始数据降维后的一些最佳特征（与类标签关系最密切的，即与yy相关），这个时候，基于Fisher准则的线性判别分析LDA就能派上用场了。注意，LDA是一种有监督的算法。本文参考“JerryLead”的文章线性判别分析（Linear Discriminant Analysis）（一）及线性判别分析（Li
人脸识别经典算法三：Fisherface（LDA）
架构设计
04-13 5619
Fisherface是由Ronald Fisher发明的，想必这就是Fisherface名字由来。Fisherface所基于的LDA（Linear Discriminant Analysis，线性判别分析）理论和特征脸里用到的PCA有相似之处，都是对原有数据进行整体降维映射到低维空间的方法，LDA和PCA都是从数据整体入手而不同于LBP提取局部纹理特征。如果阅读本文有难度，可以考虑自学斯坦福公...
Python：线性判别分析(Linear Discriminant Analysis)手工代码实现
DeniuHe的博客
03-12 1838
LDA线性判别分析 实现有监督降维，代码将iris数据降到2维 """ Auther:Deniu He Date:2021-03-12 """ import numpy as np from sklearn.datasets import load_iris import matplotlib.pyplot as plt class LDA(): def __init__(self,X,y): self.X = X self.y = y s..
c++写一个LDA(Linear Discriminant Analysis)算法代码
最新发布
11-12
抱歉，您提到的是LDA（Linear Discriminant Analysis），这与上文提到的文本主题建模(Latent Dirichlet Allocation)不同。LDA是用于自然语言处理中的主题模型，而Linear Discriminant Analysis（线性判别分析）则是一种统计学方法，用于二分类或多分类问题，通过最大化类别间的方差和最小化类别内的方差来进行特征转换。 下面是一个简单的C++代码示例，展示了如何实现基于高斯分布的LDA： ```cpp #include <iostream> #include <Eigen/Dense> // 假设我们有观测矩阵 X 和类别标签 y MatrixXd X; // 观测值矩阵 VectorXd y; // 类别标签向量 // 按类别划分数据 std::vector<MatrixXd> X_train; std::vector<MatrixXd> X_test; std::vector<VectorXd> y_train; std::vector<VectorXd> y_test; // Linear Discriminant Analysis 函数 MatrixXd computelda() { int d = X.cols(); // 特征维度 int n = X.rows(); // 样本总数 int k = unique(y).size(); // 类别数目 // 计算先验概率 VectorXd pi(n, 0); for (int i = 0; i < n; ++i) { pi(i) = count(y.begin(), y.end(), y[i]) / static_cast<double>(n); } // 计算均值和协方差矩阵 MatrixXd mu(k, d), Sigma(k, d, d); for (int c = 0; c < k; ++c) { MatrixXd X_c = X.rowwise().select(y == c); mu(c, :) = X_c.colwise().mean(); Sigma(c, :, :) = X_c.colwise().cov(); } // 解线性组合 MatrixXd W = (Sigma.fullPivLu().solveDiagonal().asDiagonal() - inv(pi)).inverse(); return W; } int main() { // 对数据进行预处理 // ... // 计算W MatrixXd W = computelda(); // 应用到新样本上 MatrixXd transformed_data = X * W; // 使用transformed_data进行后续分类 return 0; } ``` 请注意，这个例子非常基础，实际应用中可能需要处理缺失值、正则化等问题，并且可能需要依赖更专业的机器学习库如MLPack或Shogun等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值