机器学习学习笔记(二)---PR曲线

最新推荐文章于 2024-08-06 22:28:13 发布

菜刀l四庭柱

最新推荐文章于 2024-08-06 22:28:13 发布

阅读量1.5k

点赞数

文章标签：机器学习学习人工智能

本文链接：https://blog.youkuaiyun.com/qq_51729332/article/details/127321219

版权

本文详细介绍了信息检索中的查准率(Precision)和查全率(Recall)，通过TP, FP, TN, FN的概念解析了这两个指标。讲解了如何绘制PR曲线，评估模型性能，并讨论了F1度量和平衡点(BEP)。重点在于通过实例代码展示了如何通过阈值计算P-R曲线并解读其在模型选择中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、P和R代表什么

在信息检索中，我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”“用户感兴趣的信息中有多少被检索出来了”。“查准率”(precision)与“查全率”(recall)是更为适用于此类需求的性能度量。

查准率P亦称“准确率”
查全率R亦称“召回率”

TP FP TN FN 基本概念

对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN＋FN=样例总数.分类结果的“混淆矩阵”(confusion matrix)如图所示.
在这里插入图片描述
真正例(true positive) TP:预测结果为正例，真实结果也为正例。
假正例(false positive) FP:预测结果为正例，真实结果却为反例。
真反例(true negative) TN:预测结果为反例，真实结果也为反例。
假反例(false negative) FN:预测结果为反例，真实结果却为正例。

P与R 的定义

准确率P和召回率R分别定义为:
在这里插入图片描述
准确率和召回率是一对矛盾的度量，一般来说，准确率高时，召回率偏低；而召回率高时，准确率往往偏低。
(穷则精准打击，富则活力覆盖？！。。。)

根据机器学习的预测结果对样例进行排序，排在前面是学习机器认为可能性最高的正例，第二为次高，以此类推，直到最后是学习机器认为最不可能的正例样本。
按此顺序逐个把样本作为正例进行预测，则每次可以计算出当前的查全率，查准率.以查准率为纵轴、查全率为横轴作图,就得到了查准率-查全率曲线,即“P-R曲线”。

在这里插入图片描述

评估PR曲线

在这里插入图片描述

一般认为，一个曲线完全"包住"另一个曲线，则认为前者性能优于后者；如果两个曲线发生了相交，则不能直接认为两者的优劣，只能在具体的条件下进行比较。一个合理的判据是比较P-R曲线下面积的大小。

“平衡点”(Break-Event Point，简称BEP)是一个综合考虑查准率，查全率的性能度量，它是二者相同时的取值。可以通过比较曲线间的BEP的值来粗略判断优劣(在不同的应用场景中，重视的程度有所不同)

由于BER过于简化，更常用的是F1度量:
在这里插入图片描述
F1度量的一般形式--------F_β

其中β>0度量了查全率对查准率的相对重要性. β = 1时退化为标准的F1; β >1时查全率有更大影响;β<1时查准率有更大影响.

二、绘制PR曲线

首先我们需要一个阈值T，大于等于这个阈值的我们认为是正样例，小于这个阈值的认为是负样例。
通过设置t的数量n，可以得到n对P和R的值，以此来评判模型的好坏。
(假设我们有如下数据)
在这里插入图片描述

代码

import matplotlib.pyplot as plt
import numpy as np

if __name__=='__main__':
    TP=np.array([5,4,4,3,3,3,3,3,3,3])
    FN=np.array([0,1,1,2,2,2,2,2,2,2])
    FP=np.array([5,2,2,0,0,0,0,0,0,0])
    P=TP/(TP+FP)
    R=TP/(TP+FN)
    plt.plot(R, P)
    plt.xlabel('Recall')
    plt.ylabel('Precision')
    plt.show()