线性判别分析 LDA 样本中心投影 推导

最新推荐文章于 2024-09-24 18:31:29 发布
最新推荐文章于 2024-09-24 18:31:29 发布
阅读量1.6k 收藏 16
点赞数 7
分类专栏： 机器学习 文章标签： lda 机器学习 ML 线性判别分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_inside/article/details/85123733
版权

最近回看周志华老师的《机器学习》，里面对于LDA算法做了简单的描述。

当时对于样本中心在直线上的投影为没太看懂，现在索性就推了一下，其实很简单。

以平面二维为例：

设为样本中心点，LDA直线为，

投影直线的斜率与LDA直线垂直，斜率为，求得直线：

最低0.47元/天 解锁文章
分类算法----线性判别分析（LDA）原理和推导过程学习笔记
机器学习、数据挖掘
05-02 1万+
线性判别分析用到方差分析和拉个朗日的相关知识，在介绍线性判别分析之前，先介绍方差分析和拉格朗日的相关知识，然后介绍线性判别分析（LDA的推导过程）、最后利用马氏距离计算样本与两类的距离，对数据进行分类 1方差分析 2 拉个朗日法 3 线性判别分析（LDA）的推导过程 假设有两类数据红色和蓝色，我们想通过线性判别分析对这两类数据进行分类。图1可以看到没有很好的把数据分开，而图二可...
机器学习——线性判别分析（LDA）推导
2301_82047153的博客
01-16 1090
1.点到直线的投影均值与协方差：分别为第类示例的集合，均值向量，协方差矩阵。样本中心在直线上的投影为，样本的协方差为。2.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，可以表示矩阵之间的距离。3.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得。
LDA线性判别分析——投影的疑问解答
BTboay
08-25 3206
在周志华老师的《机器学习》中，线性判别这一节中说，样本点在直线上的投影为，这和线性代数中正交投影中所描述的可不大一样。 首先，要明确一点，是指投影后的点到原点的距离，而不是投影后的点，原书有点误导。 因为，线性判别分析要分析投影后的点的距离（类间散度，类内散度），所以不用求投影点，直接求投影后的距离就可以了。 但是这并没有解答主要疑问，根据正交投影的公式，投影后距离也不是 先来看一下，正...
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
脚踏实地
06-13 1893
LDA算法入门 一． LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特
线性判别分析（LDA）中计算两个类的中心点在投影方向w上的投影示例
最新发布
彬彬侠的博客
09-24 966
已知两个类别的均值向量和投影方向（权重向量），计算每个类别在投影方向w上的投影结果
机器学习 | 实验五：LDA
知识库搭建ing
06-22 1466
即数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。
线性判别分析(LDA)模型
工作点滴
04-15 6963
线性判别分析(Linear Discriminant Analysis)简称LDA，是分类算法中的一种。LDA通过对历史数据进行投影，以保证投影后同一类别的数据尽量靠近，不同类别的数据尽量分开。并生成线性判别模型对新生成的数据进行分离和预测。 LDA投影矩阵 在维基百科中对投影的定义是：“投影是从向量空间映射到自身的一种线性变换，是日常生活中“平行投影”概念的形式化和一般化”。例如，在
线性判别分析LDA详解（分类｜降维算法）
weixin_38232619的博客
04-20 1136
首先介绍一下LDA的算法思想，它的思想非常朴素：就是设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能的远。那么我们在对新样本分类时，也可以将该样本投影到这条直线上，再根据投影点的位置来确定新样本的类别。比如下图所示
线性分类的数学基础与应用、Fisher判别的推导（python）、Fisher分类器（线性判别分析，LDA）
12-20
Fisher分类器，即线性判别分析（Linear Discriminant Analysis, LDA），是一种基于Fisher判别思想的统计分析方法。它不仅可以用于分类，还可以作为降维工具，将高维数据映射到低维空间。 2. **scikit-learn中LDA的...
如何画lda投影结果_线性判别分析（LDA）原理总结
weixin_42499335的博客
01-10 1604
前言线性判别分析(Linear Discriminant Analysis，以下简称LDA)是有监督的降维方法，在模式识别和机器学习领域中常用来降维。PCA是基于最大投影方差或最小投影距离的降维方法，LDA是基于最佳分类方案的降维方法，本文对其原理进行了详细总结。目录1. PCA与LDA降维原理对比2. 二类LDA算法推导3. 多类LDA算法推导4. LDA算法流程5. 正态性假设6. ...
线性判别分析LDA
ZHT2016iot的博客
06-09 457
一 LDA简介 1.点在直线上的投影 先回顾一下几何的知识，因为LDA采用了向量投影的方式将样本点投影在直线上。 假设P点是一个样本，我们想把P点投影到绿色的虚线上。考虑用向量投影，即OP→\overrightarrow{OP}OP投影到 OM→\overrightarrow{OM}OM上，投影为∣OM→∣=∣OP→∣cosθ=∣OP→∣OP→∗OM→∣OP→∣∣OM→∣=OP→∗u→|\overrightarrow{OM}|=|\overrightarrow{OP}|cos\theta=|\overri
机器学习 | 降维：LDA
知识库搭建ing
05-30 4177
给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。
机器学习笔记 线性判别分析（LDA）（Linear Discriminate Analysis）
hustjlshi
01-27 2683
上篇博客分析了PCA（https://blog.youkuaiyun.com/qq_38366615/article/details/86663634），这次对LDA做一下分析。 与LDA与PCA一样，都是对数据进行绛维，但是，考虑的方向不一样，PCA主要是寻找数据的主要特征，然后将数据转换到这些特征上，而LDA则将数据的标签类型考虑进来，要求数据绛维后仍然可分。从这个层面上来说，PCA是一种无监督学习而L...
机器学习之线性判别分析（LDA）
Tracy_LeBron的博客
03-25 755
在上一篇文章中，介绍了主成分分析法（PCA），这里我们介绍另外一种经典的降维方法和—线性判别分析（LDA）。LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA降维是要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，用一句话概括，就是“...
LDA总结与实例分析
bobo的烧烤店
11-19 4472
LDA总结与实例分析LDA简介LDA计算过程符号铺垫求解过程LDA示例分析LDA优缺点 **最近AI导论老师介绍了线性判别分析，但是由于板书全英文加上老师讲课过快，课上我没能完全理解LDA的原理。课下做了很多功课，才初步对LDA有了一个认识。下面我按照老师的板书流程并添加注释来讲述LDA求解全过程。 ** LDA简介 LDA全称Linear Discriminant Analysis，意为线性判别...
线性判别分析（LDA）中计算类内散度在投影方向上的大小示例
彬彬侠的博客
09-24 925
线性判别分析（LDA）中计算类内散度在投影方向上的大小的一个例子，在已知协方差矩阵和投影方向（权重向量）的情况下，计算类内散度在投影方向上的大小的详细步骤
LDA线性判别原理解析＜数学推导＞
热门推荐
【AI机器学习与知识图谱】的博客
03-09 1万+
LDA (Linear Discriminant Analysis)是机器学习中线性分类模型，本文从以下三个方面进行解析： 一、LDA线性判别的思想 二、LDA求参过程的数学原理 三、LDA实例应用（贝叶斯角度）LDA分类思想（1）对于多维空间中的数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将 d维 数据转化为 1维 数据进行处理；（2）对于训练数据，设法将多维数据
线性判别分析（LDA）算法总结
weixin_34029680的博客
09-28 253
LDA也称Fisher线性判别法，它是一种非迭代的分类算法。算法的主要思想将特征空间中的样本投影到该空间的一条直线上以实现从高维到一维的数据压缩。显然这样的投影有很多方向，而LDA算法就是寻找一个最佳投影方向来使样本的类内距离最小而类间距离最大。 投影方向：1、投影后不同类别的样本均值的差别应尽可能大，即类间距离尽可能大；2、投影后相同类别的样本方差...
《机器学习》-周志华 第三章：线性模型 读书笔记二
虎哥的铲屎员
07-01 335
文章目录3.4线性判别分析LDA(linear discriminant analysis)3.4.1 二分类推导3.4.2 多分类推导3.5 多分类学习3.6类别不平衡问题 3.4线性判别分析LDA(linear discriminant analysis) 给定训练样例集，将样例投影到一条直线上，是同类样例的投影点尽可能近，非同类样例投影点尽可能远。在新样本分类时，投影到同样的直线上，再根据投...
斯坦福公开课LDA线性判别分析学习笔记
- 首先理解LDA的理论基础，包括为什么要进行线性判别、其背后的数据假设和数学推导。 - 学习如何使用LDA进行特征提取和分类，包括对应的具体计算步骤和方法。 - 通过实际案例分析来学习如何将LDA应用到具体问题中...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值