推荐系统评价指标

最新推荐文章于 2024-03-20 21:04:45 发布

原创最新推荐文章于 2024-03-20 21:04:45 发布 · 325 阅读

CC 4.0 BY-SA版权

8 篇文章

订阅专栏

本文探讨了推荐系统中常用的评估指标，如NDCG、MAP、MRR、HR、AUC等，并解释了AUC作为衡量正负样本排序概率的指标为何对样本比例不敏感。同时，分析了PR曲线可能的起点，并提供了 auc 计算的Python实现。此外，还提及在线和离线评估中的关键指标，如点击率和相关性标注。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考

PR。
AUC。横坐标为FPR，假阳性率，即负样本被预测为正的概率。纵坐标为TPR，真阳性率，即正样本被预测为正的概率。阈值取正无穷时，所有样本预测为负，FPR=TPR=0，对应(0,0)点；阈值取负无穷时，所有样本预测为正, FPR=TPR=1, 对应(1,1)点。
MAP
NDCG

auc的概率解释？https://www.alexejgossmann.com/auc/。auc描述的是正样本排在负样本前面的概率，在上述博客中从auc定义给出了严格证明。
auc为什么对正负样本比例不敏感？对给定的模型阈值，x=FP/N，正样本数量变化时，分子分母都不变；负样本数量变化时，分子分母等比例变化，x值保持不变。对y=TP/P，有同样的结论。因此auc曲线不随正负样本比例变化。
auc的python计算代码? 详见auc计算公式推导与Python代码实现
pr曲线一定过(r=0,p=1)点吗？不是的。阈值取正无穷时, 所有样本预测为负，r=0, p=0/0没有定义。如果阈值取最大预测分，这时又有两种情况。情况1，rank1为正样本，则r=1/正样本总量，在正样本总量很大时r≈0，同时p=1，这时大概率经过(0,1)点。情况2，rank1为负样本，这种情况概率小但也存在，特别是在实际的推荐系统中，排在第一位的可能是广告，这时r=0, p=0。因此pr曲线不一定过(0,1)点，只是大概率过。阈值取负无穷时，所有样本预测为正，r=1, p=正样本占比。