NDCG评价指标讲解

最新推荐文章于 2025-04-30 11:32:16 发布

小雨滴滴滴的童鞋

最新推荐文章于 2025-04-30 11:32:16 发布

阅读量1.5w

点赞数 2

CC 4.0 BY-SA版权

分类专栏：数据挖掘

本文链接：https://blog.youkuaiyun.com/u011926899/article/details/52669180

数据挖掘专栏收录该内容

4 篇文章

订阅专栏

Normalized Discounted Cumulative Gain，即NDCG，常用于作为对rank的评价指标，当我们通过模型得出某些元素的ranking的时候，便可以通过NDCG来测评这个rank的准确度，同样的算法还包括MAP,MRR等，这里只讲解NDCG。

我们通过一个实例来说明一下这个NDCG的用法

id	1	2	3	4	5
模型评分	1.2	0.7	0.1	0.2	4.0
按模型评分排序（i）	2	3	5	4	1
r(l)	2	1	0	0	0
按Gain排序（j）	1	2	3	3	3

我们首先通过i来计算出DCG值为2.39278，按照j来计算出iDCG的值为3,6309

最后通过公式1计算出NDCG为0.65

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小雨滴滴滴的童鞋

关注关注

2
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

排序模型评估:准确率@K和NDCG

AI天才研究院

08-09

979

排序模型评估:准确率@K和NDCG 1.背景介绍在信息检索、推荐系统和许多其他机器学习应用中,排序模型扮演着关键角色。排序模型的目标是根据某些相关性评分,为一组候选项目(如网页、商品或新闻文章)生成一个有序的排列。评估排序模型的性能对于选择合适的模型和优化模型参数至关重要。本

评价一个推荐系统的指标详解！

Datawhale

07-20

1656

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：太子长琴，Datawhale成员本文主要从整体角度介绍推荐系...

参与评论您还未登录，请先登录后发表或查看评论

chadlee

02-20

9839

评价指标 NDCG Normalized Discounted Cumulative Gain(归一化折损累计增益) NDCG用作排序结果的评价指标，评价排序的准确性。推荐系统通常为某用户返回一个item列表，假设列表长度为K，这时可以用NDCG@K评价该排序列表与用户真实交互列表的差距。 CG （累计增益 Cumulative Gain） CGK=∑i=1Kreli C G_{K}=\sum_{i=1}^{K} r e l_{i} CGK=i=1∑Kreli 考虑一个长度为K的列表，relirel

搜索评价指标——NDCG

jingshuiliushen_zj的博客

10-11

5685

概念　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想：　　1、高关联度的结果比一般关联度的结果更影...

NDCG指标——qjzcy的博客

qjzcy的博客

05-26

5281

工作学习中的一点体会——NDCG 指标NDCG（Normalized discounted cumulative gain）值是我们经常用到的一个rank指标，这里写一下我对NDCG值的一点理解 ————————————————————————————————————— 目录：一、如何判断一个rank结果的好坏二、公式三、公式的理解 ————————————————————————

NDCG：推荐系统/搜索评价指标

沈春旭的博客

03-07

4936

本文转载自【胖喵】博主，详细请看https://www.cnblogs.com/by-dream/p/9403984.html 1. CG：累计增益 CG，cumulative gain，只考虑到了相关性的关联程度，没有考虑到位置的因素。它是一个搜素结果相关性分数的总和。指定位置p上的CG为： reli代表i这个位置上的相关度。举例：假设搜索“篮球”结果，最理想的结果是：B1、B...

评价标准NDCG

a1223031949的专栏

10-11

1211

评价标准性能良好的评分模型，应该能够给予那些引起msg或click的候选会员更高的评分（排序靠前），从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted Cumulative Gain（NDCG），定义如下：这里。其中n为候选会员集合中的总人数，表示模型给出的排序中，排名为的候选会员的实际ACTION值（msg=2，click=1，re

推荐系统评价指标（2）：MAP与NDCG

burstone的专栏

11-11

1495

定义：AP（Average Precision），它衡量的是推荐系统对于单个用户的排序质量，AP表示了对一个给定的用户，其推荐列表中相关项目的平均精度。例如，对于一个用户，其真实的兴趣列表中有3个项目，推荐系统为该用户推荐了6个项目：[1, 0, 1, 0, 1, 0]，其中三个1表示用户感兴趣的。可见，AP考虑了推荐列表中项目的位置，因此它是一个“顺序敏感”的指标，即推荐列表中相关项目的位置越靠前，其对AP的贡献越大。通常地，AP值越大，说明推荐系统对于该用户的相关项目排序越靠前，推荐效果越好。

ndcg算法的python实现

外婆家的大灰狼

07-24

8527

pdcg算法的实现算法参考wiki百科 Discounted cumulative gain 首先是学长之前提供的代码环境python2.7这里的 from resource import log 一直通不过查阅了资料现在是用 import logging__author__ = 'chen'import mathimport pandas as pdfrom resource im

评估指标及代码实现（NDCG）

weiyaner的博客

06-22

1万+

机器学习领域，推荐/搜索算法的常用评估指标，NDCG等

推荐系统：NDCG评价指标

最新发布

05-07

<think>好的，我现在需要回答用户关于NDCG公式及其实现代码的问题。首先，我得回忆一下NDCG的相关知识，并确保自己正确理解公式和实现步骤。用户明确要求NDCG的公式和代码示例，并且需要详细解释。根据用户提供的引用，特别是引用[1]和[4]中的代码和例子，我需要整合这些信息。首先，NDCG（Normalized Discounted Cumulative Gain）是用于评估排序质量的指标，尤其适用于信息检索和推荐系统。它考虑到了每个项目的相关性以及位置的影响，通过归一化处理使得结果在0到1之间，1表示完美排序。接下来，我需要分步骤解释NDCG的计算过程。首先是计算DCG（Discounted Cumulative Gain），然后计算IDCG（Ideal DCG），最后NDCG就是两者的比值。DCG的公式有不同的版本，常见的有两种，用户提供的代码中使用的是哪一种呢？根据引用[1]中的代码，DCG的计算是将每个项目的增益除以该位置的log2对数（位置从2开始），这可能对应公式中的折损因子。例如，对于排名i的项目，其贡献为 (2^rel_i - 1) / log2(i + 1)，其中rel_i是相关性分数。在代码示例中，用户提供的Python函数get_dcg接收一个推荐列表rec_list，假设这个列表中的元素是相关性分数。代码里计算了log_2为从2开始的log2值，即位置i+1，因为np.arange(2, len(rec_list)+2)生成的是2到len+1的数组，对应的位置是1到len，所以i从1开始，log2(i+1)也就是log2(2)到log2(len+1)。然后计算mi为2^rec_list - 1，这对应了增益部分。然后将mi除以log_2并求和得到DCG。接着，IDCG是理想情况下最大的DCG，也就是将推荐列表按照相关性降序排列后计算的DCG。代码中将sort_rec_list作为排序后的列表传入，计算IDCG，然后NDCG为DCG/IDCG。需要验证这个计算是否符合标准公式。根据引用[4]，在例子中，list_best=[B,D,A,C,E]，对应的相关性分数应该是按降序排列，计算每个位置的贡献，然后累加得到IDCG。用户提供的代码中的方法是否与此一致呢？是的，因为sort_rec_list是按相关性从高到低排列的，所以计算IDCG时得到的是最大值。接下来，我需要将公式用LaTeX表示出来，注意用户要求行内公式用$...$，独立公式用$$...$$。例如，DCG的公式可以写成： $$DCG@k = \sum_{i=1}^k \frac{2^{rel_i} - 1}{\log_2(i + 1)}$$ 而IDCG是同一公式在最优排序下的结果，NDCG则是DCG除以IDCG。然后，代码部分需要展示用户提供的代码，并解释每一步的作用。例如，在get_dcg函数中，rec_list是推荐列表中的相关性分数，log_2计算的是每个位置的log值，mi计算的是增益部分，然后求和得到DCG。在示例中，rec_list是[3,2,4,5,1]，而排序后的sort_rec_list是[5,4,3,3,2]，也就是按相关性降序排列后的结果。计算得到的NDCG是DCG除以IDCG，结果应该在0到1之间。此外，需要注意用户提供的引用中有其他内容，比如引用[2]和[3]可能涉及搜索引擎和协同过滤，但与当前问题关系不大，可以忽略。主要参考引用[1]和[4]中的代码和例子。最后，生成相关问题，可能需要考虑NDCG的应用场景、与其他指标的比较、优化方法等。例如，如何分析NDCG的优缺点，或者在不同k值下的表现差异。总结，我需要将NDCG的公式、代码实现步骤、示例计算过程详细解释，并确保LaTeX格式正确，同时生成相关问题。</think>### NDCG公式及实现代码详解 #### 一、NDCG定义 NDCG（Normalized Discounted Cumulative Gain）是衡量排序质量的评估指标，通过考虑相关性权重和位置衰减因子，量化排序结果与理想排序的接近程度。其核心公式分为三部分： 1. **DCG（折损累计增益）**： $$DCG@k = \sum_{i=1}^k \frac{2^{rel_i} - 1}{\log_2(i + 1)}$$ 其中，$rel_i$ 表示第$i$个位置的相关性得分，$\log_2(i+1)$ 为位置衰减因子[^4]。 2. **IDCG（理想DCG）**：将相关性得分按降序排列后计算得到的最大DCG值。 3. **NDCG**： $$NDCG@k = \frac{DCG@k}{IDCG@k}$$ 取值范围为$[0,1]$，值越大表示排序越接近理想状态。 --- #### 二、Python实现代码以下代码实现了NDCG计算，并包含详细注释： ```python import numpy as np def get_dcg(rec_list): # 计算增益部分：2^rel_i - 1 mi = np.power(2, rec_list) - 1 # 计算位置衰减因子：log2(i+1)，i从1开始 log_2 = np.log2(np.arange(2, len(rec_list) + 2)) # 计算DCG：各位置增益与衰减因子的比值之和 dcg = np.sum(mi / log_2) return dcg if __name__ == "__main__": # 示例输入：原始推荐列表的相关性得分 rec_list = [3, 2, 4, 5, 1] # 理想排序后的列表（相关性降序） sort_rec_list = [5, 4, 3, 3, 2] dcg = get_dcg(rec_list) # 计算实际DCG idcg = get_dcg(sort_rec_list) # 计算理想DCG ndcg = dcg / idcg # 计算NDCG print(f"DCG: {dcg:.3f}, IDCG: {idcg:.3f}, NDCG: {ndcg:.3f}") ``` **输出示例**： ``` DCG: 18.016, IDCG: 23.245, NDCG: 0.775 ``` --- #### 三、关键步骤解释 1. **增益计算**： `mi = np.power(2, rec_list) - 1` 将相关性得分转换为指数增益，体现高相关性的重要性差异。例如，相关性为5时，增益为$2^5-1=31$。 2. **位置衰减**： `log_2 = np.log2(np.arange(2, len(rec_list) + 2))` 对排名靠后的结果施加更强的衰减。例如，第1位衰减因子为$\log_2(2)=1$，第5位为$\log_2(6)\approx2.58$。 3. **归一化处理**：通过除以理想排序的IDCG，消除不同查询间相关性量纲的影响，使结果可比[^1]。 --- #### 四、应用场景 NDCG广泛用于以下场景： - 搜索引擎结果排序评估 - 推荐系统的个性化列表质量评价 - 广告排序效果分析 ---