LDA(latent dirichlet allocation)的应用

LDA(Latent Dirichlet Allocation)主题模型在文本分析领域的应用广泛,包括文本分类、用户评论主题词抽取、特征降维等。在广告系统中,LDA和PLSA用于计算文本语义相似度,提升分类器精度。大型企业如腾讯、百度已将其应用于用户行为分析、个性化推荐系统。此外,LDA在大规模用户画像构建和个人化服务中展现出良好效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

http://www.52ml.net/1917.html

主题模型LDA(latent dirichlet allocation)的应用还是很广泛的,之前我自己在检索、图像分类、文本分类、用户评论的主题词抽取等都用过,做feature、降维等。例如可以用主题维度来表示原来的字典维度,大大的降低了文本表示的维度。这其实也很deep learning中的对特征的抽象有点相似,通过一些聚类等的思想,将一些细粒度的特征组合到一个新的空间上去,例如主题空间。

而且GibbsSampling的LDA实现也相对容易,可以参考一些代码。

最近看微博上 志飞Google 发起的帖子,大多业界用lda或者plsa的都表态了。腾讯的rickjin等。摘录一些,大家以后遇到类似的问题可以尝试下topic model。

===

rickjin :PLSA 和 LDA 在广告系统中做文本语义相似度的计算还是可以的,至少能保证弱语义相关性。另外,我们把 LDA inference 出来的 topic 用在了文本分类器中做feature, 可以显著的提升分类器的 precission/recall

机器学习那些事儿 :在计算搜索query相似度时直接采用LSA了,因为SVD的效率在工业界已经很成熟。//@rickjin :回复 @志飞Google :哦, 没有说清楚, 我指的是弱语义关联,比如 LDA 可以有效的用于计算 "柯南" 和 "火影忍者" 这两个 query 的相似度

机器学习那些事儿 :打个比方,有1000万个样本,只用learning的100个topic做feature,结果可想而知// @余凯_西二旗民工 :只用topic分类,效果不好,尤其是在训练样本多的时候。// @老师木 : 只用topic作文本分类,效果怎样。

李沐mu :有公司用lda做cookie做user group,然后当feature用,效果挺好/ @洪亮劼 : 目前正在做LDA在大规模user profiling + personalization的工作。

张栋_机器学习 :PLSA (dirichlet prior = zero 的 LDA)还是很实用的,我们用它解过几个工业界的问题

袁全V :我们在广告中在用lda做cookie-url grouping, 最近在尝试用来发现长尾语义

苏劲松XMUNLP :baidu好像把plsa用得挺好的,lda就不知道了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值