排序指标NDCG

最新推荐文章于 2025-05-08 11:00:50 发布

原创

最新推荐文章于 2025-05-08 11:00:50 发布 · 4.8k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#搜索

NDCG是一种衡量排序质量的指标，考虑了结果的相关度和位置影响。相关度被分为不同等级，越相关的结果应置于列表前列。NDCG通过累加分布增益并归一化，确保了整体质量和排名的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

NDCG（Normalized distributed cumulative gain），用来衡量排序质量的指标。
计算公式为：
这里写图片描述

NDCG的计算：CG–>DCG–>NDCG

CG：网页gain的累加。gain可以是自己定义的，用来衡量网页的相关程度。在NDCG中，相关度分成从0到r+1的等级（r是可设定的）：

相 关

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

DawsonHwang

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

推荐系统排序指标：MRR、MAP和NDCG

Cachel Wood的博客

05-30

256

排序模型评估:准确率@K和NDCG

AI天才研究院

08-09

955

排序模型评估:准确率@K和NDCG 1.背景介绍在信息检索、推荐系统和许多其他机器学习应用中,排序模型扮演着关键角色。排序模型的目标是根据某些相关性评分,为一组候选项目(如网页、商品或新闻文章)生成一个有序的排列。评估排序模型的性能对于选择合适的模型和优化模型参数至关重要。本

参与评论您还未登录，请先登录后发表或查看评论

推荐系统中的NDCG

蕾姆的博客

10-18

2957

说到NDCG就需要从CG开始说起。 CG（cumulative gain，累计增益）可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品，这个推荐列表的CGk计算公式如下： CGk=∑ikreliCG_k=\sum _i^k rel_iCGk=i∑kreli. relirel_ireli 表示第kkk个物品的相关性或者评分。假设我们共推荐kkk个文档，relirel_ireli...

NDCG 计算

xiedelong的博客

01-27

4439

参考 https://zhuanlan.zhihu.com/p/136199536 http://zhaoxi-sight.com/artificial-intelligence/%E6%90%9C%E7%B4%A2%E7%B3%BB%E7%BB%9F%E4%B9%8B%E8%AF%84%E4%BB%B7%E6%8C%87%E6%A0%87ndcg/ 含义高相关性的文档在搜索引擎结果列表越早出现越好。即高相关性的文档出现的位置越靠前，指标会越高。 NDCG 同样可以用来计算推荐系统中，召回、排序的平均点

NDCG计算

weixin_39221360的博客

06-10

1062

import numpy as np def getDCG(scores): return np.sum( np.divide(np.power(2, scores) - 1, np.log(np.arange(scores.shape[0], dtype=np.float32) + 2)), dtype=np.float32) def getNDCG(rank_list, pos_items): relevance = np.ones_like(p.

DCG, NDCG 公式及其实现

止鱼

05-03

5940

DCG, NDCG Normalized Discounted Cumulative Gain(归一化折损累计增益) NDCG用作排序结果的评价指标，评价排序的准确性。推荐系统通常为某用户返回一个item列表，假设列表长度为K，这时可以用NDCG@K评价该排序列表与用户真实交互列表的差距。解释： Gain: 表示列表中每一个item的相关性分数 Gain = r(i) Cumulati...

推荐算法——NDCG归一化折扣累积增益

AndrewPerfect的博客

07-11

620

（Normalized Discounted Cumulative Gain），是一种常用的衡量搜索引擎和推荐系统结果质量的指标。NDCG考虑了结果的相关性和结果的排名位置，其值在0到1之间，值越大表示搜索结果质量越高。IDCG是理想情况下的DCG，即结果按相关性排序时的DCG。其计算方法与DCG相同，只不过结果列表是按相关性降序排列的。其中，relirel_ireli 表示结果列表中第 iii 个结果的相关性评分，ppp 是结果列表的长度。

【推荐系统排序指标】CG、DCG、NDCG、Hit Rate

发现问题，并解决问题，批判性思维

05-14

2484

文章目录一、CG，累计增益 Cumulative Gain二、DCG，折损累计增益 Discounted cumulative gain三、NDCG，归一化折损累计增益 Normalized Discounted Cumulative Gain3.1 NDCG简介3.2 电影推荐的一个栗子3.3 代码实践栗子四、Hit Rate五、推荐系统评测指标Reference 一、CG，累计增益 Cumulative Gain CG表示对K个item的Gain进行累加，其中Gain表示列表中每一个item的相关性分数

Listwise 排序之 LambdaRank：最大化 NDCG 的秘诀

进一步有进一步的欢喜~

01-01

1354

本文深入解析了 LambdaRank，一种用于排序学习的先进模型，特别适用于推荐系统。通过引入 Lambda 权重和精心设计的损失函数，LambdaRank 能直接优化 NDCG 等排序评价指标，确保高相关性的商品排在前面。文章详细介绍了 NDCG 的计算方法、Lambda 权重的作用、损失函数的设计以及评分调整的具体过程，帮助全面理解 LambdaRank 的工作原理及其在实际应用中的优势。

nDCG（Normalized Discounted Cumulative Gain，归一化折损累计增益）

陈开心的博客

05-08

646

nDCG（Normalized Discounted Cumulative Gain，归一化折损累计增益）是一种用于评估排序质量的指标，常见于信息检索和推荐系统。它考虑了排序列表中每个位置的相关性得分，并对靠前位置给予更高权重，同时通过归一化处理使结果在0到1之间，便于不同排序结果的比较。它的计算步骤应该是先计算DCG，然后找到理想情况下的IDCG，最后用DCG除以IDCG得到nDCG。

【推荐系统】召回指标NDCG

littlemichelle

06-29

4407

无

NDCG评价指标讲解

u011926899的专栏

09-26

1万+

Normalized Discounted Cumulative Gain，即NDCG，常用于作为对rank的评价指标，当我们通过模型得出某些元素的ranking的时候，便可以通过NDCG来测评这个rank的准确度，同样的算法还包括MAP,MRR等，这里只讲解NDCG。我们通过一个实例来说明一下这个NDCG的用法 id 1 2 3 4 5 模型评分

搜索引擎质量指标(nDCG)

LintaoD的博客

09-12

7138

检索中搜索引擎质量指标 1. DCG(Discounted Cumulative Gain) 1.1 介绍衡量搜索引擎 rank 质量指标(DCG – Discounted Cumulative Gain)，在信息检索中，它通常用于衡量 Web搜索引擎算法或相关应用程序的有效性。DCG 在搜索引擎结果集中使用文档的相关性评分，根据文档在结果列表中的位置来衡量文档的有用性或增益...

NDCG

ZSCDumin的博客

03-01

5855

NDCG 详解 1. CG 累积增益（CG）是DCG的前身，并且在考虑结果集的有用性时不包括结果的位置。以这种方式，它是搜索结果列表中所有结果的分级相关值的总和。特定等级位置p的CG定义为： 2. DCG DCG的前提是在搜索结果列表中出现较低的高度相关文档应该受到惩罚，因为分级相关值与结果的位置成对比地减小。 DCG的传统公式累积在特定的等级位置p的定义为：另一种表述...

搜索评价指标——NDCG

jingshuiliushen_zj的博客

10-11

5670

概念　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想：　　1、高关联度的结果比一般关联度的结果更影...

NDCG：推荐系统/搜索评价指标

沈春旭的博客

03-07

4925

本文转载自【胖喵】博主，详细请看https://www.cnblogs.com/by-dream/p/9403984.html 1. CG：累计增益 CG，cumulative gain，只考虑到了相关性的关联程度，没有考虑到位置的因素。它是一个搜素结果相关性分数的总和。指定位置p上的CG为： reli代表i这个位置上的相关度。举例：假设搜索“篮球”结果，最理想的结果是：B1、B...

推荐系统：NDCG评价指标

最新发布

06-19

<think>我们正在讨论的是pointwise重排序模型的评估问题，特别是用户提到每个query只对应一个doc的情况。根据之前的分析，在这种情况下直接计算NDCG是不可行的，因为NDCG需要每个查询有多个文档形成排序列表。然而，用户现在的问题是如何在训练pointwise重排序模型时使用NDCG评估指标。我们需要明确：1.pointwise模型通常预测单个文档的相关性分数（例如，使用回归或分类模型）。2.NDCG是列表级的评估指标，需要每个查询有多个文档。因此，在训练pointwise模型时，如果每个查询只有一个文档，则无法计算NDCG。但是，如果每个查询有多个文档（尽管pointwise模型是单独处理每个文档的），我们可以在整个验证集上按查询分组，然后根据模型为每个查询的文档打的分数进行排序，再计算NDCG。具体步骤：1.训练一个pointwise模型（例如，一个全连接神经网络），输入是query-doc的特征，输出是相关性的预测分数（可以是回归值，也可以是分类的概率）。2.在验证集上，对于每个查询，收集所有相关的文档及其预测分数。3.对于每个查询，根据预测分数对文档进行排序，形成排序列表。4.然后，使用这个排序列表和真实的标签（例如，相关度等级）计算NDCG@k（k可以是5,10等）。注意：即使模型是pointwise训练的（即每个样本独立训练），但在评估时，我们需要按查询将文档聚合起来，然后进行排序并计算NDCG。但是，用户特别提到“每个query只对应一个doc”的情况，这种情况无法计算NDCG。因此，我们需要区分两种情况：情况A：训练数据中每个查询有多个文档（尽管模型是pointwise的，但评估时我们可以聚合）。情况B：每个查询只有一个文档（无法计算NDCG）。针对情况B，我们无法使用NDCG，必须使用其他指标（如MSE、准确率等）。但用户的问题是如何使用NDCG，所以我们假设用户可能实际上有多个文档，但误解了pointwise的含义（pointwise是指训练时每个样本独立，但一个查询可以有多个样本）。如果用户的数据集确实是每个查询只有一个文档，那么我们必须建议改变评估指标，或者通过某种方式构造多个文档（例如，将多个查询的文档合并成一个虚拟查询，但这并不理想）。因此，回答重点：1.如果每个查询有多个文档：在验证集上按查询分组，排序，计算NDCG。2.如果每个查询只有一个文档：无法计算NDCG，建议使用其他指标。同时，我们可以参考引用[2]中提到的LambdaMART（这是一个pairwise/listwise方法），但用户使用的是pointwise模型，所以训练过程不同。评估指标的使用与模型类型无关，只与评估时是否有排序列表有关。引用[3]提到了重排序（Rerank），这通常是在初始检索返回多个文档的基础上进行的，所以这种情况下每个查询会有多个文档，因此可以计算NDCG。所以，我们推测用户可能是在重排序场景下，每个查询应该对应多个文档（否则重排序就没有意义）。因此，用户可能误解了数据格式，或者数据准备阶段出了问题。建议用户检查数据集中每个查询对应的文档数量。如果确实只有一个文档，那么需要重新考虑数据收集方式。如果用户坚持在只有单文档的情况下使用NDCG，我们只能重复之前的结论：这是不可能的，并建议替代方案。现在，我们按照用户要求，在回答中引用之前的引用[1][2][3]（但注意，用户提供的引用内容与NDCG计算没有直接关系，不过我们可以关联到排序模型和重排序的背景）。回答结构：1.重申问题：在pointwise模型训练中，每个query对应一个doc的情况下无法计算NDCG。2.解释原因：NDCG需要多个文档构成排序列表。3.给出在多个文档情况下的正确使用方法（即使模型是pointwise的）。4.针对单文档情况，建议替代指标。5.结合引用内容，说明重排序场景下通常有多个文档。注意：用户要求“尽可能多的参考用户上一次的问题和你的回答”，因此我们将引用之前分析中的关键点。由于用户的问题中引用了[1][2][3]，我们在回答中也要自然引用。</think>### 在Pointwise重排序模型训练中正确应用NDCG指标的方法 #### 核心原则：数据重构与指标适配在pointwise模型训练中（每个query仅对应单个doc），**直接计算NDCG指标在技术上可行但评估价值为零**（结果恒为1）。要有效应用NDCG，必须重构评估框架： ```mermaid graph TD A[Pointwise训练] --> B[评估阶段数据重构] B --> C[按查询聚合文档] C --> D[模拟排序列表] D --> E[计算NDCG@k] ``` #### 具体实施步骤（需满足每个查询≥2文档） 1. **训练阶段（Pointwise方式）** - 模型独立处理每个query-doc对：$f(\text{query}, \text{doc}) \rightarrow \text{score}$ - 使用回归损失（MSE）或分类损失（Cross-Entropy） - **不直接计算NDCG**（此时无意义）[^1] 2. **评估阶段（重构排序列表）** ```python # 伪代码：评估时构造虚拟排序列表 def calculate_ndcg(model, eval_data): query_groups = group_by_query(eval_data) # 按查询分组 ndcg_scores = [] for query, docs in query_groups.items(): if len(docs) < 2: continue # 跳过单文档查询 # 生成预测分数排序 doc_scores = [(d, model.predict(d)) for d in docs] sorted_docs = sorted(doc_scores, key=lambda x: x[1], reverse=True) # 提取真实相关性标签 true_labels = [d.relevance for d in sorted_docs] # 计算NDCG@k (k通常取5/10) ndcg = ndcg_at_k(true_labels, k=5) ndcg_scores.append(ndcg) return np.mean(ndcg_scores) # 查询级平均NDCG ``` 3. **关键处理技术** - **数据分桶**：将单文档查询按语义相似性分组 - 示例：旅游类查询`["巴黎酒店", "伦敦民宿"]`视为同一虚拟查询 - **负采样增强**： $$ \text{增强数据} = \left\{ \begin{array}{l} \text{真实正例} \\ \text{随机负例} \\ \text{难例负例} \end{array} \right. $$ - **滚动窗口评估**：在时间序列数据中，将近期文档作为候选集[^2] #### 替代方案（单文档场景强制评估）若必须保留单文档结构，采用**指标转换**： 1. 计算相关性预测误差： $$ \text{MAE} = \frac{1}{N} \sum |y_{\text{true}} - y_{\text{pred}}| $$ 2. 加权准确率（分级相关性场景）： ```python # 等级权重映射：{0:0, 1:0.3, 2:0.6, 3:0.8, 4:1.0} weighted_acc = sum(weights[true] * (pred == true)) / sum(weights) ``` #### 工业实践建议 1. **数据管道改造**： - 检索阶段返回Top-K文档（K≥10） - 重排序模型接收`(query, [doc1, doc2, ..., dock])`输入[^3] 2. **LambdaMART集成**： ```mermaid graph LR A[Pointwise模型] --> B[作为特征输入] C[Pairwise/LambdaMART] --> D[最终排序] ``` Pointwise分数可作为listwise排序模型的输入特征[^2] 3. **在线评估**： - A/B测试点击率（CTR） - 用户停留时间分析 - 转化率监控（CVR） > **关键结论**：NDCG在pointwise模型中的价值体现在评估阶段的**数据重构**能力上。当每个查询对应文档数$n \geq 2$时，通过查询分组可恢复NDCG的评估功能；当$n=1$时，必须采用替代指标或改造数据管道[^1][^3]。