推荐系统之LFM与邻域方法对比

本文对比分析了LFM(Latent Factor Model)与基于邻域的推荐算法如itemcf和usercf的优劣。LFM在理论基础、离线计算的空间复杂度上优势明显,但在实时推荐和推荐解释方面不足。LFM适合非稀疏数据集,且通过调整正负样本比例可显著提升推荐效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

LFM在topN推荐时,重要参数有四个:1.隐特征的个数F 2.学习率alpha 3.正则化参数lambda 4.正负样本比例ratio

通过实验发现,ratio对算法性能影响最大(控制变量法)。随着负样本的增多,LFM的准确率和召回率有明显的提高,但是覆盖率不断降低,新颖度不断降低。在movielens数据集上的结果,可以发现LFM总是优于itemcf和usercf,但是LFM不适合稀疏的数据集。

LFM与基于邻域方法对比:

1.理论基础:LFM具有好的理论基础,通过优化指标来学习模型,而itemcf,usercf(这里指传统的,现在一线互联网中隐式召回方法多采用w2v,孪生网络之类来学习相似度)是一种基于统计的方法,没有学习过程。

2.离线计算的空间复杂度:基于邻域的方法需要维护一张相关性表。在离线计算相关表的时候,若用户/物品数很多,将占据很大的内存。例物品数为M,用户数为N,用户相关表需O(M * M),LFM需 O(F*(M+N))。LFM大量节省了了内存。

3.离线计算的时间复杂度:假设有M个用户,N个物品,K条用户对物品的记录。usercf计算用户相关表的时间复杂度是O(N*(K/N)^2),而itemcf计算物品相关表的时间复杂度是O(M*(K/M)^2)。对于LFM,如果用F个隐类,迭代S次,那么他的计算复杂度是(K*F*S)。总体来说两者时间复杂度差别不大

4.在线实时推荐:usercf和itemcf在线服务算法需要将相关表缓存在内存中,然后可以在线进行实时推荐。以itemcf算法为例,一旦用户喜欢了新的物品,就可以查询内存中的相关表将和该物品相似的其他物品推荐给用户。因此一旦用户有了新的行为,而且该行为被实时地记录到后台的数据库系统中,他的推荐列表就会发生变化。而lfm需要计算所有物品的兴趣权重,效率太低,不能在线实时计算而需要离线将所有用户的推荐结果存储在数据库中。

5.推荐解释:itemcf算法支持很好的推荐解释,它可以利用用户的历史行为解释推荐结果,但lfm无法提供这样的解释。

本教程为官方授权出品伴随着大数据时代的到来,作为发掘数据规律的重要手段,机器学习已经受到了越来越多的关注。而作为机器学习算法在大数据上的典型应用,推荐系统已成为各行业互联网公司营销体系中不可或缺的一部分,而且已经带来了真实可见的收益。目前,推荐系统机器学习已经成为各大公司的发力重点,众多知名公司(如亚马逊、netflix、facebook、阿里巴巴、京东、腾讯、新浪、头条等)都在着眼于将蕴含在庞大数据中的宝藏发掘出来,懂机器学习算法的大数据工程师也成为了新时代最紧缺的人才。精心打造出了机器学习推荐系统课程,将机器学习理论推荐系统项目实战并重,对机器学习推荐系统基础知识做了系统的梳理和阐述,并通过电影推荐网站的具体项目进行了实战演练,为有志于增加大数据项目经验、扩展机器学习发展方向的工程师提供更好的学习平台。本课程主要分为两部分,机器学习推荐系统基础,电影推荐系统项目实战。第一部分主要是机器学习推荐系统基础理论的讲解,涉及到各种重要概念和基础算法,并对一些算法用Python做了实现;第二部分以电影网站作为业务应用场景,介绍推荐系统的开发实战。其中包括了如统计推荐、基于LFM的离线推荐、基于模型的实时推荐、基于内容的推荐等多个模块的代码实现,并各种工具进行整合互接,构成完整的项目应用。通过理论和实际的紧密结合,可以使学员对推荐系统这一大数据应用有充分的认识和理解,在项目实战中对大数据的相关工具和知识做系统的回顾,并且可以掌握基本算法,入门机器学习这一前沿领域,为未来发展提供更多的选择,打开通向算法工程师的大门。谁适合学:1. 有一定的 Java、Scala 基础,希望了解大数据应用方向的编程人员2. 有 Java、Scala 开发经验,了解大数据相关知识,希望增加项目经验的开发人员3. 有较好的数学基础,希望学习机器学习推荐系统相关算法的求职人员
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值