【机器学习】排序问题(Ranking) 中使用的指标及示例代码

本文介绍了机器学习中用于评估排序问题的四个关键指标:P@K(Precision at K)、MAP(Mean Average Precision)、MRR(Mean Reciprocal Rank)和NDCG(Normalized Discounted Cumulative Gain)。通过实例解释了每个指标的计算方法和应用场景,帮助理解排序模型的性能评估。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

作者:LogM

本文原载于 https://segmentfault.com/u/logm/articles ,不允许转载~

1. P@K

P@K,代表前 K 个预测值中有多少的准确率 (Precision)。

比如,一个模型输出了一组排序,其输出的好坏依次为:好、坏、好、坏、好。

那么,

Prec@3 = 2/3

Prec@4 = 2/4

Prec@5 = 3/5

def precision(gt, pred, K):
    """ Computes the average precision.
        gt: list, ground truth, all relevant docs' index
        pred: list, prediction
    """
    hit_num = len(gt & set(pred[:K]))
    return float(1.0 * hit_num / K)

2. MAP

AP 是 average precision 的缩写,计算方式是把所有相关文档的 P@K 求平均。

借用上面的例子,一个模型输出了一组排序,依次为:好的结果、坏的结果、好的结果、坏的结果、好的结果。

那么,

AP = (1/1 + 2/3 + 3/5) / 3 = 0.76

### Ranking Loss 的概念 Ranking loss 是一种用于衡量模型预测排名顺序与真实标签之间差异的损失函数。这种类型的损失函数广泛应用于信息检索、推荐系统以及自然语言处理等领域,特别是在涉及排序的任务中。 ### Ranking Loss 的计算方法 常见的 ranking loss 形式之一是成对排序损失 (Pairwise Ranking Loss),其核心思想是比较不同样本之间的相对位置关系。具体来说,对于任意一对正负样例 \(i\) 和 \(j\),如果希望正样例子 \(i\) 排名高于负样例子 \(j\),则定义如下形式的损失: \[L_{rank}(f(x_i), f(x_j)) = \max(0, 1 - (f(x_i) - f(x_j)))\] 其中 \(f(\cdot)\) 表示评分函数[^1]。该公式表明当正样例得分低于或等于负样例时会产生惩罚;反之,则不会增加额外成本。 另一种常用的 ranking loss 是列表级别的 RankNet 损失函数,在此框架下,通过比较每一对文档的概率分布来优化整个查询结果列表的质量: \[L(y_1,y_2)=E[\log(1+\exp(-t(s_1-s_2)))]\] 这里 \(s_1,s_2\) 分别代表两个文档的相关度分数,而\( t=\text{sign}(y_1-y_2)\)决定了这对文档的真实偏好方向。 ### 应用场景 - **搜索引擎**:提高搜索结果页面上高质量网页的位置。 - **广告投放平台**:确保高点击率的商品展示给更多潜在客户。 - **社交网络中的好友推荐**:优先显示那些更有可能成为新朋友的人选。 - **学术论文引用分析**:帮助学者找到最相关的研究资料。 ```python def pairwise_ranking_loss(pos_score, neg_score): """Calculate Pairwise Ranking Loss.""" margin = 1.0 losses = torch.relu(margin - pos_score + neg_score) return losses.mean() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值