#机器学习公式推导#LDA

最新推荐文章于 2024-01-16 14:31:11 发布
原创 最新推荐文章于 2024-01-16 14:31:11 发布 · 422 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LDA #公式 #机器学习

本文深入浅出地介绍了LDA算法的原理与应用。通过实例解释了如何将二维平面上的样本点投影到直线上实现降维，以及如何通过最大化类间距离和最小化类内距离来优化投影方向。此外，还探讨了LDA在贝叶斯决策理论框架下的最优分类条件。

LDA是一种降维的算法，也可以用来做特征选择和聚类。以二维平面为例，平面上有2类样本点，我们希望将二维平面上的2类样本点投影到一条直线上，从二维到一维，这可不就降维了吗？那么怎么找到最合适的投影的直线呢？我们期望的目标是，投影之后，同类之间靠得更近，异类之间离得更远，也就是类内小，类间大。LDA的思想不是太难，也不涉及太难的理论原则，所以下面我们直接进入稍微麻烦一点的公式推导。
在这里插入图片描述
在西瓜书上看到一句话：“LDA可从贝叶斯决策理论的角度来阐释，并可证明，当两类数据同先验、满足高斯分布并且协方差相等时，LDA可达到最优分类。”。没能理解。

LDA推导
heda3的博客
03-16 625
LDA是一种：有监督、线性 有预测函数：y=wx （寻找最佳投影向量w）优化目标： 转化为求解特征值求解算法：QR算法 数学原理：而LDA是选择投影后使得类内方差小而类间方差大的方向来投影，用到了类别信息 参考：https://blog.youkuaiyun.com/shenziheng1/article/details/60467527 ...
LDA（线性判别分析，Linear Discriminant Analysis）
zhfplay的博客
02-08 2212
读完周志华教授的《机器学习》中的线性判别分析章节，他从LDA实现的效果角度对其进行了推导：类间间距要尽可能大，类内间距尽可能小的基本思想通过拉格朗日乘子法可以简单解出想要的结果。但是在章节的最后，教授提到：LDA可以从贝叶斯决策理论的角度来阐释，并可证明，当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类。 今天，我们从贝叶斯理论的角度来阐释一回神奇的LDA. 贝叶斯定理 我们先...
LDA Gibbs Sampling公式推导
miss_snow_m的专栏
03-05 1684
前言这一章节内容也是参考了另外两篇不错的博客，然后对里面的公式进行更细致的推导博客1博客2Gibbs SamplingBackground所有的推导可以说都是根据这张图片：α∈RM×K\alpha \in \mathbb{R}^{M \times K}θm∈RK\theta_m \in \mathbb{R}^Kβ∈RK×V\beta \in \mathbb{R}^{K \times V}ϕk∈RV\
LDA算法推导
m0_52290822的博客
11-02 496
LDA算法是什么 简单地说LDA算法就是向低维度投影，让同一类别数据投影点更接近，不同类别数据点距离更远。 LDA原理 定义，已知 我们要把两类数据都投影到w直线上。 让不同类别的数据的类别中心之间的距离尽可能的大， 同一种类别数据的投影点尽可能的接近 不同类别的数据的类别中心之间的距离越大，越能取分两类 同一种类别数据的投影点越接近越能聚合聚拢。 如图， 最后的优化目标最大。 ...
LDA模型公式的推导
10-30
LDA模型的公式的推导过程，非常详细易懂
概率主题模型与LDA模型公式推导（1）
liuyuemaicha的专栏
08-06 1879
概率主题模型（PTM——Probabilistic Topic Model） 注：关于为何用Dirichlet分布来假设公式中的两个独立分布，可以参考如下链接博文，博主感觉讲的很到位。 链接：http://maider.blog.sohu.com/306392863.html
LDA原理与推导
zgwhugr0216的专栏
10-18 2362
【期末总复习】机器学习（公式推导与代码实现）鲁伟
weixin_56463218的博客
06-23 2664
训练集（Training set）作用是用来拟合模型，通过设置分类器的参数，训练分类模型。后续结合验证集作用时，会选出同一参数的不同取值，拟合出多个分类器。验证集(Cross Validation set)作用是当通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。选出效果最佳的模型所对应的参数，即用来调整模型参数。如svm中的参数c和核函数等。测试集(Test set)通过训练集和验证集得出最优模型后，使用测试集进行模型预测。用来衡量该最优模型的性能和
机器学习入门 — LDA与PCA算法（公式推导、纯python代码实现、scikit-learn api调用对比结果）
12-21
目标：LDA关心的是能够最大化类间区分度的坐标轴成分 将特征空间（数据集中的多维样本）投影到一个维度更小的 k 维子空间中，同时保持区分类别的信息 原理：投影到维度更低的空间中，使得投影后的点，会形成按类别...
【吃瓜教程】《机器学习公式详解》西瓜书与南瓜书公式推导
chenxu7758258的博客
07-13 5109
【吃瓜教程】《机器学习公式详解》西瓜书与南瓜书公式推导 2021年7月11日 第0章-导学 深度学习：狭义地来说，就是具有较多层的神经网络。 整个学习过程; 先看西瓜书，在看 Datawhale吃瓜教程. ，最后要看南瓜书。 2021年7月12日 第一章 绪论 1.1引言 机器学习：将“经验”以“数据”的方式存储下来 ⇒\Rightarrow⇒产生模型算法-学习算法 ⇒\Rightarrow⇒ 产生模型-分析新的数据-给出判断 训练模型-学习器 1.2基本术语 样本：记录一个事件或者一个对象的描述，通常假
机器学习——线性判别分析（LDA）推导
最新发布
2301_82047153的博客
01-16 1218
1.点到直线的投影均值与协方差：分别为第类示例的集合，均值向量，协方差矩阵。样本中心在直线上的投影为，样本的协方差为。2.矩阵的2-范数：又名欧几里得范数，即向量元素绝对值的平方和再开方，可以表示矩阵之间的距离。3.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中....称为拉格朗乘数。设上述条件极值问题中的函数与在在区域上有连续一阶偏导数.。若的内点是该条件极值问题的极值点, 且则对于m 个常数使得。
机器学习公式推导与纯Python实践30课
涵盖了各种经典机器学习算法，如逻辑回归、k近邻、决策树（ID3和CART）、感知机、神经网络、支持向量机（线性可分与不可分）、朴素贝叶斯、贝叶斯网络、正则化方法（Lasso和Ridge）、集成学习方法（GBDT、AdaBoost、...
【机器学习】LDA算法 (主题模型算法)
热门推荐
CWS_chen
01-14 2万+
随着互联网的发展，文本分析越来越受到重视。由于文本格式的复杂性，人们往往很难直接利用文本进行分析。因此一些将文本数值化的方法就出现了。LDA就是其中一种很NB的方法。 LDA有着很完美的理论支撑，而且有着维度小等一系列优点。本文对LDA算法进行介绍，欢迎批评指正。 本文目录： 1、Gamma函数 2、Dirichlet分布 3、LDA文本建模 4、吉普斯抽样概率公式推导 5、使用...
【机器学习基础】数学推导+纯Python实现机器学习算法27：LDA线性判别分析
fengdu78的博客
06-27 517
Python机器学习算法实现Author：louwillMachine Learning Lab 线性判别分析（Linear Discriminant Analysis，...
主题模型LDA基础及公式推导
大表哥的博客
07-19 1万+
1.背景 (1)gamma函数产生 针对上述问题，欧拉将有限多项式的观察推广到无穷级数 欧拉发现了gamma函数性质 (2)LDA诞生 ①blei以PLSA为基础，加上贝叶斯先验，诞生了LDA算法。LDA初始的论文使用变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的 topic主题非全局最优分布，而是局部最优分布。后期发明了 Collapsed Gibbs Sampling 方法，推导和使用都较为简洁。 ②Latent Dirichlet Allocat
机器学习之LDA算法
笔记
06-25 4835
线性判别分析（linear discriminant analysis，LDA），是一种经典的线性学习方法，其原理是：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置来确定新样本的类别。LDA作为一种经典的机器学习算法，具有较好的降维效果和分类能力，同时对噪声具有一定的抗干扰能力。然而，LDA也有其局限性，适用于满足其假设条件的线性可分问题。
LDA主题模型推导
qq_23174517的博客
07-01 804
LDA topic model 公式推导: p(w,z∣α,β)=p(w∣z,α,β)∗p(z∣α,β)p(w,z| \alpha,\beta)=p(w|z,\alpha,\beta)*p(z|\alpha,\beta)p(w,z∣α,β)=p(w∣z,α,β)∗p(z∣α,β) β\betaβ与z独立:p(z∣α,β)=p(z∣α)p(z|\alpha,\beta)=p(z|\alpha)p(...
线性判别分析(LDA)原理及应用详解
AI蜗牛车
06-05 1万+
前置知识线性分类指存在一个线性方程可以把待分类数据分开，或者说用一个超平面能将正负样本区分开，表达式为 。线性分类器线性分类器就是用一个“超平面”将两个样本隔离开，如：二维平面上的两个样本用一条直线来进行分类；三维立体空间内的两个样本用一个平面来进行分类；N维空间内的两个样本用一个超平面来进行分类。常见的线性分类器有：LR，贝叶斯分类，单层感知机、线性回归，SVM（线性核...
LDA、QDA和朴素贝叶斯
qq_48988106的博客
11-07 3938
文章目录一、Linear Discriminant Analysis(LDA)1. 贝叶斯定理2. LDA (p = 1)3. LDA(p > 1)4. 结果衡量——混淆矩阵、ROC、AUC二、LDA, QDA & Naive Bayes1. QDA2. Naive Bayes 朴素贝叶斯3、总结与比较假设适用条件 通俗来说，Discriminant Analysis就是通过分别对每个分类中的X的分布进行建模，再通过贝叶斯定理得到Pr(Y∣X)Pr(Y|X)Pr(Y∣X)。 当我们假设每个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值