对LDA和LFM关系的理解

最新推荐文章于 2024-06-04 16:21:44 发布
原创 最新推荐文章于 2024-06-04 16:21:44 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了LDA（潜在狄利克雷分配）与LFM（潜在因子模型）两种方法在推荐系统领域的应用差异。LDA通过概率分布揭示数据中的隐含主题，而LFM则运用矩阵分解技术来预测用户对物品的兴趣。两者虽然都关注于发现数据背后的潜在结构，但在实现方式和技术细节上存在显著不同。

仔细看了一下项亮的那本《推荐系统实践》中有关用LFM做音乐推荐的部分，发现了LDA(Latent Dirichlet Allocation)和LFM(Latent Factor Model)之间的联系，LDA和LFM的关系，就相当于雷锋和雷峰塔之间的关系一样最相似的部分都是发现了隐藏在数据背后的Latent Topic，其他的真的是关系不大。

LDA利用标签矩阵对隐藏在数据集内部的话题关系用概率分布的形式表现出来（Doc-Topic矩阵和Topic-Tag矩阵），采用的是随机采样和马尔科夫链（利用EM算法或GibbsSampling收敛）的思想，是由pLSA、LSA演化而来的；

而LFM利用矩阵分解的思想（利用梯度下降收敛）对用户-物品（user-item）评分或1-0矩阵进行r = pq分解，和SVD以及PMF(probabilistic matrix factorization)的思想更加接近（基于个人理解）

如果楼主有理解错的地方，烦请大家踊跃拍砖！！

AI上推荐 之 隐语义模型(LFM)和矩阵分解(MF)
Miracle8070
08-27 1万+
1. 前言 随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战： 信息消费者：如何从大量的信息中找到自己感兴趣的信息？ 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？ 为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协
隐语义模型（Latent Factor Model, LFM）原理以及代码实现
热门推荐
Stephen
05-08 1万+
在推荐系统中，隐语义模型主要用来让模型自己去发掘物品之间潜在的特征。一、关于隐语义模型（LFM）二、LFM降维方法——矩阵因子分解三、LFM的进一步理解四、矩阵因子分解五、模型的求解——损失函数六、模型的求解算法——ALS（求得精确结果，但不适用，可忽略不看）七、梯度下降算法（实际使用）八、Python代码实例 代码链接: github. 一、关于隐语义模型（LFM） 1. 用隐语义模型来进行协同过滤的目标 揭示隐藏的特征,这些特征能够解释为什么给出对应的预测评分 这类特征可能是无法直接用语言解释描述的,
深度学习和自然语言处理的应用和脉络4-隐语义模型SVD，PLSA，LDA，LFM-推荐系统
changdejie的专栏
10-11 1059
隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。
LFM，LSI，LDA讲解与实例（不断更新）
yuhushangwei的专栏
07-08 2772
使用LFM（Latent factor model）隐语义模型进行Top-N推荐 http://blog.youkuaiyun.com/harryhuang1990/article/details/9924377
文本主题模型之潜在语义索引(LSI)
weixin_34067980的博客
05-04 1001
　　　　在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 文本主题模型的问题特点 　　　　在数据分析中，我们经常会进行非监督学习的聚类算法，它可以对我们的特征数据进行非监督的聚类。而主题模型也是非监督的算法，目的是得到文本按照主题的概率分布。从这个方面来说，主题模型和普通的...
LFM（Latent factor model）隐语义模型的思想和伪代码
tanyanzimo的博客
08-02 1574
http://blog.youkuaiyun.com/harryhuang1990/article/details/9924377
Python数据分析案例14——文本计算TF-IDF值和LDA主题模型
weixin_46277779的博客
12-30 1万+
jieba库分词，TF-idf值计算，词向量化，LDA模型构建画出词云图
LFM_Comparation.rar
08-13
标题中的"LFM_Comparation.rar"暗示了一个关于比较两种主题模型——LSA（Latent Semantic Analysis，潜在语义分析）和LDA（Latent Dirichlet Allocation，潜在狄利克雷分配）的研究。这两个模型在文本挖掘和信息检索...
推荐系统算法—隐语义模型（LFM）详解
zhong_ddbb的博客
07-16 3881
文章目录基本思想数学原理 协同过滤算法主要包括基于用户的协同过滤（User-Based CF）、基于物品的协同过滤（Item-Based CF）、隐语义模型（Latent Factor Model）等。LFM（latent factor model）隐语义模型从诞生到今天产生了很多著名的模型和方法。其实该算法最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的算法有LSI、pLSA、LDA和Topic Model。推荐系统的用户行为分为显性反馈和隐性反馈。LFM在显性反馈数据（也就是评分数据）上解决评分
隐语义模型LFM
oucpowerman的博客
11-12 4146
隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。 对于一个用户
对压缩感知做出全面介绍（通俗易懂）
03-11
对压缩感知内容全面简单的介绍，非常通俗易懂
[python] LDA处理文档主题分布及分词、词频、tfidf计算
weixin_33701617的博客
03-15 3243
这篇文章主要是讲述如何通过LDA处理文本内容TXT，并计算其文档主题分布，主要是核心代码为主。其中LDA入门知识介绍参考这篇文章，包括安装及用法： [python] LDA处理文档主题分布代码入门笔记 1.输入输出 输入是test.txt文件，它是使用Jieba分词之后的文本内容，通常每行代...
LDA主题模型-TFIDF
ixtgtg的专栏
01-21 3445
TFIDF是由两部分组成，一部分是TF(Token Frequency)，表示一个词在文档中出现的次数，即词频。另一部分是IDF(Inverse Document Frequency)，表示某个词出现在多少个文本中(或者解释为有多少个文本包含了这个词)，即逆向文档频率，通常由公式IDFt＝log((1+|D|)/|Dt|)，其中|D|表示文档总数，|Dt|表示包含关键词t的文档数量。
主题模型(Topic Model)---LDA(Latent Dirichlet Allocation)理论+实战
weixin_44607838的博客
02-21 8491
主题模型 顾名思义，主题模型用来探寻文本背后所隐藏的主题，也可以理解为一种段落语义的挖掘。相比于TF-IDF只能从个体词汇层面给予我们文本内容的提示，主题模型能够从更宏观的角度帮助我们快速捕捉文本的核心语义。 LDA建模思路 LDA是一种比较流行的主题模型，由吴恩达等人在2003年首次提出。它可以将文档集中每篇文章的主题以概率分布的形式给出，比如，我们可以从结果找选出概率最大的5个主题作为该文档的主题描述。下面我们来快速理解一下LDA的基本建模思路。（因为LDA背后涉及大量的数学知识，如果大家想对数学细节做
基于某评论的TF-IDF下的LDA主题模型分析
最新发布
m0_57265868的博客
06-04 2004
完整代码： 数据源： 代码逐行讲解： 读取同目录下的文件，df1是数据框格式提取评论内容，并对评论内容做清洗，采用正则表达式，去除标点和英文。用jieba对每一行的数据作分词处理，最后得到的数据展现以及数据类型。 总的来说，这段代码的目的是使用LDA模型来发现文档集合中的潜在主题。首先，它通过TF-IDF向量化器将文本数据转换为数值矩阵，然后使用这个矩阵来训练LDA模型，最后可以通过模型来分析文档的主题分布。打印出来的结果为： 这段代码是用于分析和可视化LDA（Latent Diri
LDA主题建模——基于鸿星尔克微博热搜评论
xy2003king的博客
04-24 8896
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档​​​​​​​。
topic model (LSA、PLSA、LDA)
lmm6895071的专栏
07-11 7116
Topic模型概要： LFM（依赖于矩阵分解） LSA(LSI)（SVD分解） PLSI（EM算法优化，频率学派，参数未知但固定） LDA（在PLSA基础上加上贝叶斯框架，α\alpha, β\beta ~dirichlet分布,分别作为主题-文档和词-主题的先验分布；贝叶斯学派的特点是参数是随机变化的，但是服从某个分布，不断的学习新的知识，形成后验） 介绍： LFM、
TF-IDF矩阵与LDA模型的参数
DL_Iris的博客
07-07 3739
文档预处理以及向量化中的要点： 删除出现少于20个文档的单词或在50％以上文档中出现的单词： from gensim.corpora import Dictionary dictionary = Dictionary(docs) dictionary.filter_extremes(no_below=20, no_above=0.5) 将文档转换为向量形式。只计算每个单词的频率，包括两个单词构成的词组。再看看处理后的词典大小和文档数。 # Bag-of-words representation o
推荐系统_基本知识点-牢记
sjyttkl的专栏
04-11 2185
1 推荐系统的分类 基于应用领域分类：电子商务推荐，社交好友推荐，搜索引擎推荐，信息内容推荐 基于设计思想：基于协同过滤的推荐，基于内容的推荐，基于知识的推荐，混合推荐 基于使用何种数据：基于用户行为数据的推荐，基于用户标签数据的推荐，基于社交网络数据，基于上下文信息（时间上下文，地点上下文等等） 2 常见评测标准 http://blog.youkuaiyun.com/u011263983/arti...
LDA数学概念深入理解指南
具体来说，LDA模型假设文档、主题和词三者之间存在以下关系： 1. **词的生成**：每个词的生成是两阶段的。首先根据文档的主题分布随机选择一个主题；然后根据这个主题的词分布随机选择一个词。 2. **主题分布和词...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值