PR曲线与F值

本文介绍了PR曲线与F值的概念及其在机器学习算法评估中的应用。对比了PR曲线与ROC曲线的不同之处,并详细解释了Precision(准确率)与Recall(召回率)的含义。此外还探讨了在个性化推荐场景中提升Precision的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

PR曲线与F值

PR曲线与ROC曲线都是评价一个机器学习算法的标准,那么不同点在哪里呢,首先我们还是看下面几个值:
- TP(真正) 实际正
- FP(假正) 实际负
- TN(真负) 实际负
- FN(假负) 实际正

与ROC曲线不同的是,PR曲线用(Precision)准确率和(Recall)召回率分别作为横纵坐标。
Precision = TP / (TP + FP)
Recall = TP / (TP + FN)
准确率就是说预测为正例的样本里面有多少真的是正例。
召回率就是说所有的正例里面有多少被我们预测为正例了。
F值 = 1 / (1/Precision + 1/Recall)

如果我们要求按照优先级先提升Precision和Recall其中的一个,应该怎么选呢。那么在我从事的个性化推荐与用户打交道的场景下,应该是提升Precision更好一些,毕竟Precison更高,ctr也会更高一些,用户的感知应该也是不太明显的。

### PR曲线上初始为 0 的可能性及原因 PR曲线Precision-Recall Curve)展示了不同阈下模型的查准率(Precision)和查全率(Recall)之间的关系。当PR曲线上的某个点对应的查准率为零时,意味着此时没有任何正类被正确识别。 如果PR曲线起始位置即为\( (R=0, P=0)\),这通常表示在最高置信度的情况下,所有预测都未能成功捕捉到任何实际存在的正样本实例[^3]。这种情况可能由以下几个方面引起: 1. **数据分布不均衡**:当负类别远多于正类别时,即使模型表现良好也可能因为极少数正样例难以区分而导致高分段内无真正阳性的现象发生。 2. **特征表达不足**:训练集中的特征不足以让算法有效地区分两类对象,特别是在极端情况下可能会造成所有的测试案例都被错误地标记成负面结果。 3. **过拟合问题**:过度适应训练数据可能导致泛化能力下降,在未见过的数据集中无法保持良好的性能,从而使得某些特定条件下产生的预测完全偏离预期目标。 4. **异常检测场景下的特殊性质**:对于一些特殊的任务如欺诈侦测或疾病诊断等,正常行为占据了绝大多数比例而异常事件非常稀少;因此即便是一个相对优秀的分类器也有可能会在最严格的判定标准下给出全部否定的结果。 ```python from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt import numpy as np # 假设 y_true 是真实的标签列表,y_scores 是对应每个样本的概率得分向量 precision, recall, thresholds = precision_recall_curve(y_true, y_scores) plt.figure() plt.plot(recall, precision, marker='.') plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision Recall Curve with Initial Point at Origin') if len(precision)>0 and len(recall)>0 and round(precision[0],5)==0: plt.scatter([recall[0]], [precision[0]], color="red") # Highlight the initial point if it's zero. plt.show() print(f"The first threshold is {thresholds[0]} leading to Precision={round(precision[0],5)} and Recall={round(recall[0],5)}.") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值