RMSE for Top-k Recommendation: 高手的盲点?

推荐系统中的常用评测指标 一.Hit Ratio(HR) 1.在top-K推荐中,HR是一种常用的衡量召回率的指标,其计算公式如下: 分母是所有的测试集合,分子是每个用户top-K推荐列表中属于测试集合的个数的总和。 2.举例:   三个用户在测试集中的商品个数分别是10,12,8,模型得到的top-10推荐列表中,分别有6个,5个,4个在测试集中,那么此时HR的值是 (6+5+4)/(10+12+8) = 0.5。 二... 阅读详情

今天查文献的时候看到ACM RecSys 2010的一篇关于top-n推荐的文章,注意到文章的第二作者是Netflix Prize赛程中贡献最大的Yehuda Koren,所以仔细读了一下。看完之后相当困惑:高手也有盲点?Yehuda Koren是Netflix Prize获奖团队的主要成员,在整个赛事中展现出了非常优秀的问题分析和数据分析能力。但这篇文章的话题却实在让人意外。

 

文章的作者通过实验发现,在Netflix Prize中表现优异的算法虽然可以大幅降低RMSE,但如果以Recall@n或者Precision@n作为评测标准,效果却非常差,还不如直接推荐最热门的商品效果好。很诧异作者会因为这个结果而诧异,这难道不是一个显而易见的问题?事实上,Greg Linden,Amazon.com早期推荐系统的主要贡献者,在09年三月的博客里就讨论过这个问题。用RMSE做目标,预测的是用户对每个商品感兴趣的程度,而以Recall@n或者Precision@n为目标,预测的是用户最感兴趣的商品有哪些,这是两个完全不同的目标,为优化RMSE而设计的算法不见得适用于top-n推荐。这个问题在CofiRank和Matchbox,以及更早的用Ranking方法作推荐的文献中,都有讨论。

 

类似的讨论在相关领域有更长的历史。比如在Web检索中,用户期望相关结果尽可能排在前面,因而往往以NDCG或者MAP作为评价指标。而在专利检索中,用户期望尽可能多地返回相关结果,因而Recall@n是更合适的评价指标。显然,不同的业务目标决定了不同的评价指标,而针对不同的目标,算法也需要作相应的调整。Machine Learning Rank的研究成果中,很大一部分工作就是探讨如何去直接优化这些各不相同的评价指标。实际上,之所以在回归算法之外还会去研究分类算法,不也是因为对于不同的业务问题有不同的评价指标,因而需要有不同的算法吗?不是这样吗?

 

数据挖掘项目首先要明确业务目标,然后才是分析数据和设计算法,这个是很多教材都会提到的一个标准过程。明确业务目标很重要的一点就是要设置一个合适的评价指标,这样,后续的精力就可以集中在如何实施算法**优化这个指标上了。而相反的流程,先实施一个算法,然后拿出几个评价指标看它在哪个指标上表现好,就像是先打枪再在落弹点处画靶心,虽然在学术研究中不排除这种逆向工作法有时会带来意想不到的结果,但在应用项目里恐怕大都是做无用功。

 

 这篇文章的另外一个问题是它的实验方法。文章认为对于top-n推荐来说,标准的SVD会优于SVD++等Netflix Prize赛程中出现的矩阵分解算法。对于SVD++,作者通过交叉验证选取了使RMSE最优的lambda值,而标准SVD是没有学习参数的(除了低阶矩阵的维数)。这个做法很难让人理解:既然评价指标是Recall和Precision,当然应该选取使Recall和Precision最优的 lambda值,这才是公平的对比!

 

 最后说点题外话。KDD Cup-2011将使用Yahoo! Music的数据,展开音乐推荐算法的竞赛。这次竞赛有两个子任务,第一个任务是预测用户的评分,很可能和Netfilx Prize一样,将采用RMSE作为评价指标。第二个任务是区分用户打了高分的音乐和没打分的音乐,我原来猜想他们可能会采用AUC做评价标准,但看了上面这篇文章后,我觉得用Recall,Precision或者F-Score的可能性更大。因为这篇文章的实验目标也是区分用户打了高分的音乐和没打分的音乐,而Yehuda Koren是竞赛Organizing Committee三个成员之一(另一个成员Markus Weimer是CofiRank的作者之一)。

 

 (欢迎转载 谢绝篡改 作者:chen_1st 微博:http://t.sina.com.cn/chen1st)

 

------------------------------------------------------------------------------

针对这一问题,又写了一篇包含更多细节的文章。 

 

**严谨起见,说明一下:这里所说的实施算法,即包括算法设计,也包括算法的合理使用。不难发现,有很多算法虽然最初是为目标A设计的,但如果使用得当——比如合理地设置参数值——也能很好地满足目标B。

Top-K问题的几种求解方法 HeapSelect求解方法 使用这种方法求解,需要借助一种数据结构叫做堆。这里我们使用的是小根堆。 首先把数组中的前k个值用来建一个小根堆。 之后的其他数拿到之后进行判断,如果遇到比小顶堆的堆顶的值大的,将它放入堆中 最终的堆会是数组中最大的K个数组成的结构,小根堆的顶部又是结构中的最小数,因此把堆顶的值弹出即可得到Top-K。 public class TopKHeapSelect ... 阅读详情

相关推荐

top-K问题详解

top-K 问题是一类经典的问题,它能解决许多海量数据处理相关的问题,例如在1亿个ip中找出访问次数前1000的ip,在海量搜索字符串中找出搜索频率排在前十的搜索字符串等等。下面我们由浅入深对其进行分析。 我们可以将这类问题分为三个方向考虑:         1.将输入内容(假设用数组存放)进行完全排序,从中选出排在前K的元素即为所求。有了这个思路,我们可以选择相应的排序算法进行处理,目前来看

技术杂谈 1万+

为什么不能通过优化RMSE得到Top-K Recommendations?

前几天写《RMSE for Top-K Recommendations:高手的盲点?》查文献时,注意到Google Recsys兴趣小组在去年就有这方面的讨论。因为已经快写完了,所以没有对Recsys兴趣小组提到的一些点深入讨论。今天针对Recsys兴趣小组的讨论,谈一些我的看法。 1)为什么不能通过优化RMSE得到Top-K Recommendations? 优化RMSE,实际上就是

overstack的专栏 1583

【电子元件篇】MOSFET场效应管作用、选型和测量指南-超简单解读

场效应管是一种电压控制型半导体器件,相比三极管具有输入阻抗高、噪声小、功耗低等优势。主要分为结型和绝缘栅型两大类,后者又可分为耗尽型和增强型MOS管。场效应管通过栅极电压控制漏极电流,具有转移特性和输出特性两大静态特性,以及快速的开关特性。其关键参数包括饱和漏源电流、夹断电压、跨导等,应用场景涵盖信号放大、恒流源、阻抗变换等领域。使用时需根据电路需求选择合适类型,如结型管适合一般放大,功率MOSFET适合高压大电流场合。检测时可用万用表电阻档初步判断好坏和放大能力。

2301_81299416的博客 2544

Top-K问题

面试中,TopK,是问得比较多的几个问题之一,到底有几种方法,这些方案里蕴含的优化思路究竟是怎么样的,今天和大家聊一聊。 画外音:除非校招,我在面试过程中从不问TopK这个问题,默认大家都知道。 问题描述: 从arr[1, n]这n个数中,找出最大的k个数,这就是经典的TopK问题。 栗子: 从arr[1, 12]={5,3,7,1,8,2,9,4,7,2,6,6} 这n=12个数中,找...

Sweet Baby,甜宝 2364

NX二次开发(python)-坯料尺寸(一)

一般在产品制造过程中,往往要判断一个模型在出模方向上的最小包容盒尺寸,在NX中可以用坯料尺寸命令实现,当然也有相应的代码实现,这或许可以帮助我们实现一些产品的坯料尺寸批量输出,节省人力。

dasfanfan的博客 823

kaggle注册以及数据集下载全流程

kaggle注册,数据集下载及常见问题

Arriteey的博客 2万+

Top-K准确率的概念与实现(源码讲解)

Top-K准确率的概念与实现(源码讲解)

qq_54708219的博客 3266

触摸屏蓝牙控制

使用杰理芯片通过蓝牙实现触摸屏功能,需要结合触摸屏数据采集、蓝牙数据传输以及移动端应用的实现。

m0_46145044的博客 1112

Top-K准确率代码实现

所对应的标签为4,这也就代表着如果按照以往的标准(Top-1准确率)来看,分类器对于这张图片的预测结果就是错误的。但如果我们以Top-2的标准来看的话,分类器对于这个图片的预测结果就是正确的,因为logits中概率值最大的前两个中包含有真实的标签。也就是说,虽然0.35对应的标签是错的,但是排名第二的概率值。Top-K准确率就是用来计算预测结果中概率最大的前K个结果包含正确标签的占比。所对应的标签是正确的,所以我们在计算Top-2准确率的时候也将上述结果当作是预测正确的。来源UFDLv2模型代码。

c09y00h16的博客 666

高等数学/概率论/数理统计/线性代数/离散数学面试-核心概念-问题理解

特征值与特征向量是线性代数中的概念,它们与线性变换有关。在线性变换中,如果存在非零向量 v ,使得当该向量通过变换后,其方向不变,只是长度发生了变化,那么这个向量 v 就是特征向量。而这个长度变化的比例因子,即变换前后向量长度的比值,称为特征值。数学公式表示:通俗易懂的解释:想象一下,你有一个可以伸缩的橡皮筋,这个橡皮筋可以代表一个向量。现在,你有一个特殊的机器,它可以改变橡皮筋的形状,但不会改变它延伸的方向。当你把橡皮筋放入机器中,机器会拉伸或压缩橡皮筋,但橡皮筋的方向保持不变。

m0_64198455的博客 2294

Altium Designer(AD24/25)导入DXF或DWG结构文件的方法

DXF(Drawing Exchange Format)和DWG(Drawing)是两种常见的CAD(计算机辅助设计)文件格式,常用于结构和硬件之间的沟通。本文介绍Altium Designer(AD24/25)导入DXF或DWG结构文件的方法。

fydar的博客 1459

理论知识:Top-K 准确率

Top-1 Accuracy: 这是最常见的准确率评估方式,指的是模型预测的最有可能的类别(即概率最高的类别)是否正是真实的类别。换句话说,就是模型的预测结果中排名第一的类别是否正确。Top-3 Accuracy: 这个评估标准比 Top-1 更宽松一些。它检查真实类别是否在模型预测的前三个最有可能的类别之中。这意味着即使模型的最有信心的预测(Top-1)是错误的,只要真实的类别位于模型给出的前三个最可能的选项中,该预测仍被视为正确。在一些复杂的分类问题中,可能存在多个合理的答案。例如,在图像识别中,一张图

llf000000的博客 2332

构建栅格地图matlab代码

1 使用MATLAB实现地图栅格化 效果图如下所示 图1 ...

qq_59747472的博客 4519

推荐系统初学者系列(7)-- Surprise库做Top-K推荐

利用surprise库中的SVD、NMF、ItemKNN等算法训练模型预测 def main(): rec = 'SVD' # First train an SVD algorithm on the movielens dataset. print("load data...") # d

私人天地 5405

【RT-DETR实战】112、NCNN模型转换与层实现支持:从模型文件到推理引擎的硬核实战

本文详细记录了将RT-DETR模型部署到NCNN框架的全过程及关键要点。作者首先遇到MultiHeadAttention等算子不支持的问题,通过ONNX中间转换和自定义层实现解决。文章具体介绍了PyTorch到NCNN的权重转换技巧、模型优化方法(包括量化和线程优化)以及调试经验,强调逐层对比输出、预处理检查和边界情况测试的重要性。最后分享了保持转换流程可复现性的实用建议,指出手动调试虽然耗时但能加深对模型的理解,体现了工程师在解决技术难题时的专业精神与成就感。

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 44

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Top-k准确率

Top-k准确率 import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' #限制控制台打印日志级别 tf.random.set_seed(2467) def accuracy(output, target, topk=(1,)): # output [10,6] maxk = max(topk) batch_size = target.shape[0] pred =

没有胡子的猫Asimov 1313

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Multi-Sample based Contrastive Loss for Top-kRecommendation(IR 2021)

在 CL 中,将同一批次中的所有非正样本作为负样本,可以简单的快速获取大量负样本,CL_loss 意在最大化正对的相似性并最小化负对的相似性。而BPR 一般采用随机抽取的方式使用一个或几个负样本,BPR_loss意在最大化正样本和负样本之间的距离。它们都是通过对比过程学习的,所以BPR 损失也可以看成对比损失的一种。为解决 CL 中正负样本不均衡的问题,作者提出了多采样正样本的 CL ,如上图。正负样本添加了权重来权衡它们之间的重要性,还可以同时使用多个正样本来参与 CL。...

qq_29717841的博客 561

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

论文笔记:Variational Autoencoders for Top-K Recommendation with Implicit Feedback---(2021)

VAE--协同过滤

m0_49315028的博客 549

当Top-k遇到深度学习

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!top-k操作(即从分数集合中找到k个最大或最小元素)是一个重要的机器学习模型组件,被广泛用于信息检索和数据挖掘中。但是,如果t...

AITIME_HY的博客 5836

tensorflow 2.0 高阶操作 之 实战 top_k accuracy

4.3_ top_k accuracy定义实现实战实战结果 定义 Top_k 精度 是指在做预测时,选取概率最大的 k 个标签,如果存在真实的标签值,则视为预测正确。 可以看出我们常用的 Top_1 是 Top_k 的特殊情况。当 k 为类别标签数时, Top_k accuracy 为 100%。 实现 prob = tf.constant([[0.1, 0.2, 0.7], [0.2, 0.7,...

记录求学阶段的技术学习、项目实践与成长思考。 2887

推荐系统入门(Top-N recommendation)

推荐系统入门本文从Improving Top-N Recommendation with Heterogeneous Loss 这篇论文的角度讲解如何入门推荐系统。适合推荐系统初学者入门。这篇文章提出了一种 通过多个损失函数 结合来提升topN推荐的效率 的方法。发表在16年的IJCAI上,是来自天普大学的研究成果。目录我先介绍一下topN背景,再介绍一下与本文相关工作,最后推导出本文提出的创新方法

一个小彩笔 1万+

从分类,排序,top-k多个方面对推荐算法稳定性的评价

介绍 论文名: “classification, ranking, and top-k stability of recommendation algorithms”. 本文讲述比較推荐系统在三种情况下, 推荐稳定性情况. 与常规准确率比較的方式不同, 本文从还有一个角度, 即推荐算法稳定性方面进行比較. 具体 參与比較的推荐算法 包含: baselin...

weixin_33851604的博客 964

典型的Top K算法_找出一个数组里面前K个最大数...或找出1亿个浮点数中最大的10000个...一个文本文件,找出前10个经常出现的词,但这次文件比较长,说是上亿行或十亿行,总之无法一次读入内存,

Top K 算法详解 应用场景:         搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。         假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就是越热门。),请你统计最热门的10个查询串,要求使用的内存不能超过1G。

boo12355的专栏 1万+

TOP-K问题

前言 TOP-K问题是面试中的常见题型,具体表现为: 海量数据 求最大(最小)的K个值. 比如:给定1亿个乱序的整数,求其中最大的1000个 今天一步一步来分析这种题目的解决办法,以及用到的算法思想. 依赖 此文中会依赖到快速排序,堆排序等排序算法,以及数据结构堆. 如果你对上述两者的原理有所了解,可以继续往下看.如果不了解,可以点击链接先看一下基础~. 好,进入正题.(以给定1亿个乱序的整数...

呼延十 3746

Top-K问题(java面试题之算法类)

Top-K问题,不难,思路优化过程: 1.全局排序  O(n*lg(n)) 2.局部排序,只排序topK个数,冒泡排序前k个,O(n*k) 3.堆排序,topK个数也不用排序了,O(n*lg(k)) 4.分治法,每个分支“都要”递归,例如:快速排序,O(n*lg(n)) 5.减治法,“只要”递归一个分支,例如:二分查找O(lg(n)),随机选择O(n) 6.TopK的另一个解法:随机选择+part...

alan_gaohaodong的博客 5051
上一篇: 从抽火柴的问题思考中去-如何从结论推导条件
下一篇: 2011推荐系统论坛游记:爱的反义词不是恨
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值