为什么不能通过优化RMSE得到Top-K Recommendations?

推荐系统中的常用评测指标 一.Hit Ratio(HR) 1.在top-K推荐中,HR是一种常用的衡量召回率的指标,其计算公式如下: 分母是所有的测试集合,分子是每个用户top-K推荐列表中属于测试集合的个数的总和。 2.举例:   三个用户在测试集中的商品个数分别是10,12,8,模型得到的top-10推荐列表中,分别有6个,5个,4个在测试集中,那么此时HR的值是 (6+5+4)/(10+12+8) = 0.5。 二... 阅读详情

前几天写《RMSE for Top-K Recommendations:高手的盲点?》查文献时,注意到Google Recsys兴趣小组在去年就有这方面的讨论。因为已经快写完了,所以没有对Recsys兴趣小组提到的一些点深入讨论。今天针对Recsys兴趣小组的讨论,谈一些我的看法。

1)为什么不能通过优化RMSE得到Top-K Recommendations?

优化RMSE,实际上就是要预测用户对每个商品的评分(大多数电子商务网站可选的分值是1-5分)。理想情况下,如果算法能够准确地预
测用户的评分值,那么根据预测结果将评分最高的K个商品推荐给用户,就完成了Top-K推荐。问题在于,算法往往并不能够准确地预测用户的评分值,数据有噪声,或者太稀疏,都有可能造成这样的结果。

那么,不能准确预测用户评分值时,算法会如何处理呢?不妨假定训练集中某用户有10个评分为5的商品,1000个评分为1的商品。在以RSME为优化目标时,这1010个商品是同等重要的,因此,算法会花费更大的精力去保证评分为1的商品的预测值尽量准确,相比之下,评分为5的商品被忽视了。而对于Top-K推荐来说,算法实际上应该尽量保证评分为5的商品的预测的准确性,评分为1的商品的预测结果是无关紧要的。所以问题的关键不在于使用的是矩阵分解方法还是其他的比如knn方法,而在于你优化的是什么目标,优化的目标和评价指标是不是一致。

相似的问题其实有很多研究结果。比如对于分类问题,Jesse Davis讨论过AUC和Precision-Recall曲线的关系,其实这和RMSE和Top-K推荐的关系非常类似(文中Figure 7很好地展示了这一点),相应地,优化AUC和优化F-Score得到的结果也会完全不同。在Ranking方面,Pair-wise和List-wise其实也是类似的问题:首先是评价标准的不同,从而导致了算法的不同。

2)为什么在0-1矩阵上knn方法往往优于SVD方法?

用户评分并不总是那么容易获取,所以很多情况下,我们需要利用其他数据来实现推荐。最常见的是用户购买信息或者点击信息,也就是所谓的Implicit Feedback:用户购买或点击过的商品地评分设为1,其他设为0。

有很多试验结果显示,在Netflix Prize上表现优异的SVD算法以及它的各种变体,在0-1矩阵上表现非常差(比如KDD-Cup 2007的一些实验报告,以Recsys的讨论中,都提到了这个问题)。对于这个问题,首先还是要考虑优化的目标和评价指标是不是一致。如果评价指标是F-Score,优化目标却是AUC,那显然会南辕北辙。除此之外,还要注意到一个问题:SVD类似于一个回归(Regression)算法,而0-1矩阵更像一个分类问题的数据集,用回归方法去解决分类问题,性能差是可以预见的。对0-1矩阵的分解,需要采用不同于SVD的方法,这方面的研究,较早的有Schein在2003年的讨论,最近的工作是Rong Pan的One Class Collaborative Filtering。

实际上,广为使用的pLSI也是在类似的背景下提出的。LSI(也就是SVD)假定数据是正态分布的,而词频是波淞分布的,用LSI处理(归一化之后的)词频矩阵并不合适,所以会有pLSI出现。当然,这也部分解释了为什么pLSI在0-1矩阵上效果差。

3)knn或Item-Based方法为什么能取得好的效果?

knn方法变体太多,它的效果很大程度上取决于所采用的距离函数,以及学习参数的选择。比如说,有可能以Pearson卡方作为距离函数能取得最好的Top-K推荐的效果,而以Cosine作为距离函数取得最好的RMSE效果,也有可能在k为30时能取得最好的Top-K推荐的效果,而k为100时取得最好的RMSE效果。总体来说,应用于推荐系统的knn方法大多属于ad hoc方法。相比较而言,Item-Based方法就更加ad hoc了。它们的成功,取决于在Validation集合上有效地进行交叉验证试验,选取合适的距离度量方法和学习参数。交叉验证的过程,就是这些方法拟合评价指标的过程。


  (欢迎转载 谢绝篡改 作者:chen_1st 微博:http://t.sina.com.cn/chen1st)

Neural Collaborative Filtering (NCF)论文学习笔记及代码实现 Neural Collaborative Filtering (NCF)论文学习笔记及代码实现 一、研究背景 二、相关知识 1、GFM(广义矩阵分解)模型: 2、One-hot编码 3、embedding层 4、哈达马积 5、MLP(多层感知机)模型: 6、激活函数ReLU 7、NeuMF模型: 三、研究方法 1、留白评估法 2、数据集划分 3、数据集介绍 四、实现结果(论文详细结果可看原文) 1、Top-K项目推荐 五、本人代码运行结果 1、GMF 2、MLP 3、NeuMF 阅读详情

相关推荐

5个核心回归评估指标的业务含义与实战选择指南

回归评估指标是连接机器学习模型与真实业务风险的关键桥梁。MAE反映平均预测偏差,直接对应库存成本或服务误差;RMSE通过平方放大机制凸显高风险误判,适用于对极端错误零容忍的场景;R²衡量模型相对于均值基准的解释增益,但需警惕其在无截距或数据漂移下的失真;MAPE将误差转化为百分比语言便于跨部门沟通,却在零值或极小值场景下失效;Huber Loss则作为鲁棒训练目标,在异常值存在时平衡MSE与MAE特性。理解这些指标的统计原理、业务映射及常见陷阱,是构建可信预测系统的基础能力。

abo1977的博客 420

RMSE for Top-k Recommendation: 高手的盲点?

今天查文献的时候看到ACM RecSys 2010的一篇关于top-n推荐的文章,注意到文章的第二作者是Netflix Prize赛程中贡献最大的Yehuda Koren,所以仔细读了一下。看完之后相当困惑:高手也有盲点?Yehuda Koren是Netflix Prize获奖团队的主要成员,在整个赛事中展现出了非常优秀的问题分析和数据分析能力。但这篇文章的话题却实在让人意外。   文

overstack的专栏 1279

协同过滤算法在图书推荐系统中的实战应用

协同过滤是推荐系统领域的经典算法,通过分析用户历史行为数据预测其偏好。其核心原理包括基于用户和物品的相似度计算,常用余弦相似度和皮尔逊相关系数等技术实现。该算法能有效解决信息过载问题,在电商、内容平台等场景广泛应用。本文以图书推荐为例,详细解析如何使用Python工具链实现协同过滤系统,特别针对数据稀疏性和冷启动等工程难题提供解决方案。通过surprise库和矩阵优化技术,开发者可以构建点击率提升30%以上的推荐模型。

weixin_34163553的博客 417

TopK推荐 排序

转载自:https://blog.youkuaiyun.com/wufaliang003/article/details/82940218

weixin_42621387的博客 670

Python电影推荐系统:算法选型与实现指南

推荐系统作为信息过滤的核心技术,通过分析用户历史行为建立个性化模型。其核心原理包括协同过滤、内容推荐等算法,能有效解决信息过载问题。在工程实践中,Python生态提供了Surprise、TensorFlow等工具链,配合Movielens等公开数据集,可快速构建电影推荐系统。典型技术方案需处理数据稀疏性、冷启动等挑战,通过混合推荐策略平衡准确性与多样性。这类系统在流媒体、电商等领域有广泛应用,其中基于用户的协同过滤能发现"喜欢A也喜欢B"的潜在关联,而矩阵分解技术可有效处理大规模稀疏矩阵。评估时需综合考量R

weixin_30847939的博客 418

基于SVD矩阵分解的智能网课推荐系统:从算法原理到工程实践

推荐系统是现代互联网应用的核心技术之一,旨在解决信息过载问题,通过分析用户历史行为与物品特征,为用户提供个性化内容。其核心原理通常涉及协同过滤、矩阵分解等技术,通过挖掘用户与物品间的潜在关联进行预测。SVD(奇异值分解)作为一种经典的矩阵分解方法,在推荐领域具有重要价值,它能将高维稀疏的用户-物品评分矩阵分解为低维隐向量,有效捕捉潜在特征,从而实现对未知评分的精准预测。这种技术不仅计算高效,且具备良好的可解释性,便于与业务逻辑结合。在实际工程中,推荐系统常面临数据稀疏、冷启动等挑战,需结合内容特征、实时反馈

weixin_33787529的博客 344

推荐系统 TOP K 评价指标

🚀 优质资源分享 🚀 学习路线指引(点击解锁) 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 目录* 符号说明 示例数据 一、Hit Rate 二、Recall 三、NDCG 符号说明 top_ktop_ktop\_k: 当前用户预测分最高的k个items,

虚幻私塾 1419

Python协同过滤实战:从电影评分到小说推荐的算法迁移与工程实现

协同过滤是推荐系统的经典算法,其核心原理是通过分析用户的历史行为数据,发现用户与物品之间的潜在关联,从而预测用户可能感兴趣的物品。该技术通过矩阵分解等方法,将高维稀疏的用户-物品交互矩阵降维为低维隐向量,有效挖掘用户偏好和物品特征,在应对数据稀疏性和挖掘隐性反馈方面展现出独特价值。它广泛应用于电商、内容平台等场景,用于实现个性化推荐,解决信息过载问题。本文聚焦于如何将协同过滤算法从电影评分场景迁移至小说推荐领域,针对小说阅读中常见的点击、阅读时长等隐性反馈数据,详细阐述了使用Python的implicit库

张沈鹏,在路上 ... 978

Kaggle 2024 项目实战:3步构建电影推荐系统,RMSE 降至 0.85

本文详细解析了2024年Kaggle电影推荐系统实战,从数据清洗到模型调优全流程。通过协同过滤与矩阵分解混合策略,最终将RMSE降至0.85以下,适用于机器学习爱好者和数据科学家。文章涵盖数据探索、特征工程、模型构建及部署优化,助力开发者快速掌握推荐系统核心技术。

weixin_34332905的博客 449

用Pandas从零实现轻量级推荐系统

推荐系统本质上是基于用户行为数据挖掘物品关联与用户偏好的技术过程。其核心原理包括协同过滤、相似度计算与热度建模,技术价值在于以低资源开销支撑高可解释性、易调试、快上线的工程落地。典型应用场景涵盖电商‘猜你喜欢’、内容平台个性化分发及冷启动场景下的实时推荐。尤其在数据规模中等(百万级用户)、基础设施受限(单机/8GB内存)、业务需快速验证时,Pandas凭借内存可控性、逻辑透明性与调试即时性,成为比深度学习框架更务实的选择。本文聚焦Pandas推荐系统与协同过滤实现,提供可直接复用的生产级代码范式。

weixin_30561425的博客 407

RT-Thread与LWIP协议栈在GD32F450XX上的移植实战:从FreeRTOS到RT-Thread的切换指南

本文详细介绍了将LWIP协议栈从FreeRTOS移植到RT-Thread系统,并在GD32F450XX开发板上实现的完整实战指南。重点解析了sys_arch适配层、邮箱与信号量接口的关键改造,以及网络驱动ethernetif.c的适配步骤,帮助开发者解决线程通信差异,实现稳定网络连接。

linux6sysadmin的博客 825

用Disco复现“星球大战“推荐效果:MovieLens数据集实战完整教程

Disco 是一个面向 Ruby 和 Rails 的推荐系统库,基于协同过滤和高性能矩阵分解算法,让你用几行代码就能构建"看过这部电影的人还看了"的智能推荐。本教程将带你使用经典的 MovieLens 电影评分数据集,手把手复现一个著名的推荐效果:让系统根据《星球大战》推荐出《帝国反击战》和《绝地归来》——这正是真实场景下"相似电影推荐"的标准答案。 ## 1. Disco 推荐系统是什么?为什

gitblog_00010的博客 649

ZYNQ实战:如何用AXI-stream FIFO解决跨时钟域数据同步难题(附完整代码)

本文深入探讨了在ZYNQ项目中,如何利用AXI-Stream FIFO有效解决PS与PL之间的跨时钟域数据同步难题。文章详细分析了异步FIFO的架构设计、关键配置参数,并提供了PS端软件策略与PL端逻辑设计的完整代码示例,旨在帮助开发者构建稳定可靠的数据流通道,优化系统性能。

nginx7reverse的博客 756

无监督学习实战 2026 版:聚类降维与推荐系统的完整项目

本文介绍无监督学习在电商用户分群和电影推荐系统中的应用。第一部分通过RFM模型和K-Means聚类实现电商用户价值分群,详细讲解了RFM模型原理,并提供了模拟电商用户数据的Python代码。第二部分将使用协同过滤和SVD矩阵分解构建电影推荐系统。文章涵盖K-Means、DBSCAN、PCA、t-SNE等核心无监督学习算法,通过两个完整项目展示从数据预处理到模型应用的全流程,帮助读者掌握无监督学习在实际业务中的应用。

热爱技术与前沿创新,深耕科技领域,在科创中精进自我;探索技术乐趣,分享技术干货与成长心得,以技术为伴,热爱生活,在科创与生活中双向成长。 486

二次开发vba_CATIA VBA(VBS)二次开发:使用Search批量选择元素

在CATIA二次开发中很多在程序中进行自动交互的方法或函数都需要使用选择集作为参数,将几何元素按照要求批量添加到选择集中也是实现程序自动运行的有效方法。在前面的文章《CATIA使用VBA(VBS)二次开发时用户的交互选择》和《CATIA使用VBA(VBS)二次开发时工程图和草图位置的交互选择函数Indicate2D》中介绍了在CATIA VBA(VBS)二次开发中用户和选择集之间的交互操...

weixin_32497403的博客 1323

从零到一:如何用YOLOv8和PyQt5打造你的第一个花卉识别桌面应用

本文详细介绍了如何使用YOLOv8和PyQt5从零开始构建一个花卉识别桌面应用。涵盖环境搭建、数据准备、模型训练、界面设计、模型集成与性能优化等全流程,帮助开发者快速掌握深度学习目标识别技术的实际应用。

weixin_29048775的博客 456

UserCF 协同过滤实战:3种相似度算法对比与Python代码实现

本文深入解析UserCF协同过滤算法,对比Jaccard、余弦相似度和皮尔逊相关系数三种核心相似度算法的优缺点,并提供完整的Python代码实现。通过MovieLens数据集实战演示,帮助开发者掌握推荐系统关键技术,优化算法性能并解决冷启动等实际问题。

weixin_30568591的博客 395

TCP报文 Flood攻击原理与防御方式

TCP交互过程中包含SYN、SYN-ACK、ACK、FIN和RST报文,这几类报文也可能会被攻击者利用,海量的攻击报文会导致被攻击目标系统资源耗尽、网络拥塞,无法正常提供服务。接下来我们介绍几种常见的Flood攻击的原理和防御方式。

qq_32044265的博客 4223

为什么AWQ+UINT4是本地大模型省显存神器:Llama-3.2-1B-Instruct_rai_1.8.0_npu_4K量化策略完整指南

🎯 Llama-3.2-1B-Instruct_rai_1.8.0_npu_4K 是 AMD 面向 Ryzen AI NPU 部署的 Llama 3.2 1B 指令模型,采用 **AWQ + UINT4** 量化策略,把原本约 2GB 的 BF16 权重压缩到约 650MB,是本地大模型省显存(省内存、省带宽)的"神器"。本文带你读懂它的量化策略是怎么设计的、为什么有效、以及如何跑起来。 ##

gitblog_00912的博客 377

S32K144后门密钥实战:如何用JLINK脚本绕过复位陷阱更新加密固件

本文详细介绍了在S32K144微控制器上,如何利用JLINK脚本绕过调试器默认复位陷阱,实现通过后门密钥安全更新加密固件的实战方案。针对汽车电子现场维护中常见的“解锁-复位-锁定”循环问题,文章提供了完整的JLinkScript定制方法、批处理工具及故障排除指南,帮助工程师高效完成固件升级。

weixin_29175469的博客 152

CAPL概述与环境搭建

CANoe和CANalyzer是Vector公司开发的两款用于汽车电子系统开发和测试的工具。CANoe主要用于网络开发、仿真和测试,而CANalyzer则主要用于网络分析和诊断。两者都支持CAPL脚本语言,可以用于编写复杂的测试脚本和仿真模型。CAPL Browser是CANoe/CANalyzer中用于编写、编辑和调试CAPL脚本的工具。它提供了一个集成的开发环境,支持语法高亮、代码自动补全、调试等功能。菜单栏:包含文件操作、编辑、编译、调试等功能。工具栏。

闲人编程的博客 1666

Python从零实现电影推荐系统:协同过滤实战

推荐系统是现代平台提升用户粘性的核心技术,其基础原理在于挖掘用户或物品之间的行为相似性。协同过滤作为最经典、可解释性最强的算法范式,通过用户-物品评分矩阵计算相似度,进而生成个性化推荐。它无需复杂特征工程,对冷启动和实时响应有天然优势,广泛应用于视频、电商与内容平台。本文聚焦于用原生Python从数据清洗、用户中心化、皮尔逊相似度计算到动态邻居加权推荐的完整链路,强调每一步的工程细节与可追溯性,特别适合希望深入理解推荐底层逻辑的数据新人、产品经理及算法工程师。

cuiji1279的博客 360

基于深度学习的柠檬等级检测系统 —— YOLOv8 + UI界面 + 数据集

本项目的目标是构建一个柠檬等级检测系统,通过深度学习模型自动检测柠檬的等级。自动检测柠檬等级:通过图像中的柠檬特征,自动判断其成熟度和质量。实时视频检测:通过摄像头实时监控柠檬的质量等级。用户友好的UI界面:为用户提供简洁直观的操作界面,支持图像上传、实时视频检测等功能。本项目展示了如何基于YOLOv8模型开发一个柠檬等级检测系统,结合PyQt5实现了用户友好的UI界面。通过该系统,用户可以快速上传柠檬图像并自动识别其等级,极大提升了检测效率和准确性。数据集的扩展。

YOLO 1114

Python实现智能助眠音频推荐系统:协同过滤与内容过滤混合策略

推荐系统作为信息过滤的核心技术,通过分析用户历史行为和内容特征,为用户提供个性化内容推荐。其基本原理包括协同过滤和基于内容的过滤两种主流方法,协同过滤利用用户群体行为相似性,而内容过滤则关注项目本身的特征匹配。在音频推荐场景中,这两种算法的价值尤为突出,能够有效解决信息过载问题,提升用户体验。特别是助眠音频这类具有强个性化需求的内容,传统白噪音或纯音乐往往缺乏互动感,而智能推荐系统可以基于音频的语速、语调、背景音乐类型等特征,结合用户的实际助眠效果反馈,实现精准匹配。Python生态中的Pandas、Sci

weixin_34348805的博客 446

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Python协同过滤算法实战:构建考研院校数据分析与推荐系统

协同过滤是推荐系统领域的经典算法,其核心原理是利用群体智慧,通过分析用户历史行为数据(如评分、点击)来计算用户或物品之间的相似度,从而预测用户对未知物品的偏好。这项技术能有效解决信息过载问题,为用户提供个性化内容,在电商、内容平台、社交网络等场景中具有极高的应用价值。在实际工程实践中,Python因其丰富的数据科学生态(如Pandas、Scikit-learn、Surprise库)成为实现推荐算法的首选。本文将聚焦于如何将协同过滤算法落地于一个具体的应用场景——考研院校数据分析与推荐系统。通过结合数据爬取、

快马扬鞭须努力! 420

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

AI工程化实践:基于领域模型构建可控的Harness与Loop体系

在软件工程领域,领域驱动设计(DDD)通过构建领域模型来统一业务与技术语言,为复杂系统提供稳定的抽象核心。其核心原理在于将业务概念、规则和流程映射为可执行的代码结构,从而确保系统架构与业务目标对齐。这一方法论的技术价值在于提升系统的可维护性、可扩展性和团队协作效率。在AI应用开发场景中,领域模型同样至关重要,它为特征工程、数据标注和模型输出提供了语义框架,有效规避了AI幻觉风险。结合MLOps平台(如MLflow)构成的Harness体系,能够标准化AI模型生命周期管理,而人类在环(HITL)与智能体循环等

weixin_34289454的博客 355

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: YouTube转向Amazon的推荐算法
下一篇: 简评《基于用户投票的排名算法》
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值