NDCG 评价标准

最新推荐文章于 2025-05-08 11:00:50 发布
最新推荐文章于 2025-05-08 11:00:50 发布
阅读量7.8k 收藏 5
点赞数 1
分类专栏： 推荐系统
评价标准

性能良好的评分模型，应该能够给予那些引起msg或click的候选会员更高的评分（排序靠前），从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain（NDCG），定义如下：

这里。其中n为候选会员集合中的总人数，表示模型给出的排序中，排名为的候选会员的实际ACTION值（msg=2，click=1，rec=0）。对每一位获得推荐建议的会员A，都需要计算一个相应的NDCG@10。所有获得推荐建议的会员对应的NDCG@10的平均值，作为排名的主要依据。

表示计算NDCG时仅采用排序至多前10的候选会员的ACTION进行计算，因此将尽可能多的msg或click排在前面至关重要。指数变换是为了增大ACTION间的差异以凸显msg和click的重要性。折扣因子用来强调越能将msg会员排名靠前的算法越好。例如，两种不同的推荐算法给出的排序对应的真实ACTION如下表所示，由于RANK 1算出的NDCG为0.8045，而RANK 2算出的NDCG仅有0.7579，我们认为RANK 1对应的算法更好。

RANK 1
click
msg
rec
click
rec
RANK 2
click
click
msg
rec
rec

这里给出一个计算NDCG的例子。假设某统计评分模型对5位会员进行了评分，以确定哪位会员更可能获得会员A的青睐（评分越高表示兴趣越大）：

USER_ID_B
1
2
3
4
5
模型评分
1.2
0.7
-2.5
0.2
4.0
按评分排序
2
3
5
4
1
ACTION (y)
msg (y2=2)
click (y3=1)
rec (y5=0)
rec (y4=0)
rec (y1=0)

因此对于会员A，

如果能够获得的评分足够理想，从而能够完美地预测出会员A关于5位会员的兴趣排序，则此时相应的DCG称为Ideal DCG：

从而对会员A，

召回评价指标之NDCG full or half
NLP与推荐算法
07-31 1852
hi,dear 大佬 在召回中评价筛出来的item是不是符合要求，除了HR外还可以看MAP或NDCG，这俩效果差不多， 主要是考察命中的item是不是靠前，都是越靠前（MAP/NDCG越大）越好. For Video Recommendation in Deep learning QQ Group 277356808 For Visual in deep learning QQ Group629530787 I'm here waiting for you ...
NDCG评价指标讲解
u011926899的专栏
09-26 1万+
Normalized Discounted Cumulative Gain，即NDCG，常用于作为对rank的评价指标，当我们通过模型得出某些元素的ranking的时候，便可以通过NDCG来测评这个rank的准确度，同样的算法还包括MAP,MRR等，这里只讲解NDCG。 我们通过一个实例来说明一下这个NDCG的用法 id 1 2 3 4 5 模型评分
评价标准NDCG
a1223031949的专栏
10-11 1196
评价标准 性能良好的评分模型，应该能够给予那些引起msg或click的候选会员更高的评分（排序靠前），从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain（NDCG），定义如下： 这里。其中n为候选会员集合中的总人数，表示模型给出的排序中，排名为的候选会员的实际ACTION值（msg=2，click=1，re
nDCG（Normalized Discounted Cumulative Gain，归一化折损累计增益）
最新发布
陈开心的博客
05-08 598
nDCG（Normalized Discounted Cumulative Gain，归一化折损累计增益）是一种用于评估排序质量的指标，常见于信息检索和推荐系统。它考虑了排序列表中每个位置的相关性得分，并对靠前位置给予更高权重，同时通过归一化处理使结果在0到1之间，便于不同排序结果的比较。它的计算步骤应该是先计算DCG，然后找到理想情况下的IDCG，最后用DCG除以IDCG得到nDCG。
梯度提升树的NDCG最少要多少才合格？
写代码炒股的算命先生
03-16 628
梯度提升树的NDCG评估指标的合格标准取决于具体的应用场景和需求。一般来说，NDCG值越高，模型的性能越好，但是不同的数据集和任务可能会有不同的评估标准。在一些比较严格的竞赛或评测中，通常会要求模型的NDCG值在0.8以上才能被认为是合格的。但是在实际应用中，根据具体的需求和场景，可以根据经验或者实验结果来确定一个合适的NDCG阈值，作为模型性能的判断标准。
【推荐系统】常用评价指标NDCG、HR、Recall、MRR解析
Danger的博客
05-09 9324
【推荐系统】常用评价指标NDCG、HR、Recall、MRR解析
机器学习---推荐系统效果评估NDCG
zhouwenyuan1015的博客
03-29 1万+
参考连接：http://www.cnblogs.com/supersteven/archive/2012/09/01/2666565.html 首先非常感谢作者不辞辛苦整理与分享。根据作者描述以及提供的代码和数据我主要做了一下事情： （1）进行本地测试运行，同时记录下代码每个大的模块主要逻辑。 （2）特别利用作者提供的NDCG效果评估代码，仔细研究了下如何对排序效果进行测评。1、
推荐系统评价指标（2）：MAP与NDCG
burstone的专栏
11-11 1459
定义：AP（Average Precision），它衡量的是推荐系统对于单个用户的排序质量，AP表示了对一个给定的用户，其推荐列表中相关项目的平均精度。例如，对于一个用户，其真实的兴趣列表中有3个项目，推荐系统为该用户推荐了6个项目：[1, 0, 1, 0, 1, 0]，其中三个1表示用户感兴趣的。可见，AP考虑了推荐列表中项目的位置，因此它是一个“顺序敏感”的指标，即推荐列表中相关项目的位置越靠前，其对AP的贡献越大。通常地，AP值越大，说明推荐系统对于该用户的相关项目排序越靠前，推荐效果越好。
推荐系统常用评价指标：NDCG、Recall、Precision、Hit Rate
chadlee
02-20 9748
评价指标 NDCG Normalized Discounted Cumulative Gain(归一化折损累计增益) NDCG用作排序结果的评价指标，评价排序的准确性。 推荐系统通常为某用户返回一个item列表，假设列表长度为K，这时可以用NDCG@K评价该排序列表与用户真实交互列表的差距。 CG （累计增益 Cumulative Gain） CGK=∑i=1Kreli C G_{K}=\sum_{i=1}^{K} r e l_{i} CGK​=i=1∑K​reli​ 考虑一个长度为K的列表，relirel
ndcg算法的python实现
外婆家的大灰狼
07-24 8518
pdcg算法的实现算法参考wiki百科 Discounted cumulative gain 首先是学长之前提供的代码 环境python2.7这里的 from resource import log 一直通不过 查阅了资料现在是用 import logging__author__ = 'chen'import mathimport pandas as pdfrom resource im
推荐系统常用的评价指标：HR、NDCG、MRR
热门推荐
shiaiao的博客
10-10 2万+
推荐系统常用的评价指标应用背景介绍评价指标的知识来源命中率HR(Hits Ratio)归一化折损累计增益(Normalized Discounted Cumulative Gain，NDCG)平均倒数排名(Mean Reciprocal Rank,MRR)实例参考 应用背景介绍 我们用一张表格展示推荐系统向用户推荐的列表与用户真实的访问项目,如下： 用户 真实值 推荐列表 A 12 3,10,15,12,17 B 3 20,15,18,14,30 C 5 2,5,7,8,15 D
推荐系统评价指标介绍--CG, DCG, NDCG
罟霖同学的站点
03-06 1825
推荐系统评价指标介绍--CG, DCG, NDCG
评价指标reacll@10,mrr@10,ndcg@10,hit@10的含义
wcc8848的博客
02-25 1万+
在知识图谱补全和推荐系统中常用到recall,mrr,ndcg,hit的评价指标 知识图谱补全也成为链接预测，是用来预测三元组（h，r，t）中缺失实体h，t或r的任务，对于每一个缺失的实体，模型将被要求用所有的知识图谱中的实体作为候选项进行计算， 在测试阶段，对于每个待测试三元组，用知识图谱中的除去h与t之外的其他实体作为候选项来替换头实体或尾实体，并且按大小顺序给出这些实体的评分函数f_r。 还是按照上述进行f函数值排列，然后去看每个testing triple正确答案是否排在序列的前十，如果在的话
nDCG学习笔记
weixin_33862993的博客
10-25 197
参考：http://en.wikipedia.org/wiki/Discounted_cumulative_gain Normalized Discounted Cumulative Gain：一种对搜索引擎或相关程序有效性的度量。 2个假设：     1.强相关的文档出现在结果列表越靠前（rank越高）越有用。     2.强相关文档比弱相关文档有用，比不相关文档有用。 DCG来源于一...
评估指标及代码实现（NDCG）
weiyaner的博客
06-22 1万+
机器学习领域，推荐/搜索算法的常用评估指标，NDCG等
NDCG的理解
weixin_30391339的博客
05-29 225
2019-05-2914:15:44 转载于:https://www.cnblogs.com/TIMHY/p/10943600.html
[RS] 评价指标NDCG
心宝的博客
03-03 415
搜索评价指标——NDCG - 胖喵~ - 博客园
排序评估指标——NDCG和MAP
comli_cn的博客
02-18 7299
用实例理解NDCG和MAP
hit、NDCG指标
12-26
### Hit Ratio (HR) Hit Ratio 是一种用于评估推荐系统的二元评价指标，主要用于衡量模型预测的准确性。具体来说，在给定测试集中的项目是否出现在推荐列表内。如果至少有一个真实目标项被成功命中，则记为一次 hit；否则不计分。 对于单个用户的 HR 定义如下： - 如果任意一个实际喜欢的商品位于 top-N 推荐商品之中，则返回 1； - 若无任何一个匹配则返回 0。 最终整个数据集上的整体性能通过求解所有用户得分均值得到[^1]。 ```python def hit_ratio(recommended_items, actual_item): """ Calculate the hit ratio. :param recommended_items: List of item IDs that were recommended to a user :param actual_item: The true positive item ID for this user :return: Binary value indicating whether there was at least one match between recommendations and truth """ return int(actual_item in recommended_items[:top_n]) ``` ### Normalized Discounted Cumulative Gain (NDCG) NDCG 考虑到了不同位置上正确项目的权重差异，并且能够处理多个相关度不同的正样本情况。它基于 DCG 的概念而构建，但是进行了标准化处理使得不同长度的结果可以相互比较。 #### 计算公式 \[ \text{NDCG}_k = \frac{\text{DCG}_k}{\text{IDCG}_k} \] 其中， - \( \text{DCG}_k \) 表示折扣累积增益，反映了前 k 个项目的相关性总和。 对于第 i 位的相关分数 rel_i ，其贡献按照对数衰减: \[ \text{DCG}_k = \sum_{i=1}^{k}\frac{2^{\text{rel}_{i}} - 1}{\log_2(i+1)} \] - \( \text{IDCG}_k \) 则是在理想情况下所能获得的最大可能 DCG 值，即当所有相关物品都按最高优先级排列时所对应的 DCG 数值。 因此，\( \text{NDCG}_k \in [0, 1]\)，越接近 1 表现越好[^2]。 ```python import math def dcg_at_k(r, k): """Compute Discounted Cumulative Gain.""" r = np.asfarray(r)[:k] if r.size: return r[0] + sum((r[1:] / np.log2(np.arange(2., r.size + 1)))) return 0. def ndcg_at_k(r, k): """Compute Normalized Discounted Cumulative Gain.""" idcg = dcg_at_k(sorted(r, reverse=True), k) if not idcg: return 0. return dcg_at_k(r, k) / idcg ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值