ROC曲线

ROC曲线是评估分类模型性能的重要工具,它通过绘制真正例率(TPR)与假正例率(FPR)的关系来展示模型的辨别能力。文章介绍了ROC曲线的计算方法,包括将样本按概率排序,设定阈值,计算TPR和FPR,并举例说明如何根据概率绘制ROC曲线坐标点。TPR表示正类预测准确率,FPR表示误判负类的比例。通过ROC曲线,可以直观地看出模型在不同阈值下的表现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ROC曲线是一种用来度量分类模型好坏的一个标准,全名叫做Receiver Operating Characteristic。ROC曲线绘制时,首先将每个样本属于正样本的概率进行大小排序,再依次以每个样本属于正样本的概率作为阈值。高于这个阈值被视为正样本,低于这个阈值视为负样本。由此进行计算,得到该样本的FPR和TPR,并以此为坐标点。
TPR代表分类器预测的正类中实际正实例占所有正实例的比例。
FPR代表分类器预测的正类中实际负实例占所有负实例的比例
计算公式分别为
T P R = T P T P + F N \\TPR = \frac{{TP}}{{TP + FN}}\\ TPR=TP+FNTP
F P R = F P F P + T N   \\FPR = \frac{{FP}}{{FP + TN}}\, FPR=FP+TNFP
参考ROC绘制实例如下:
在这里插入图片描述
score即为每个样本属于正样本的概率,class为样本真实的类别。
计算部分样本的坐标点(TPR,FPR)
以第3个样本为例,此时样本属于正样本的概率为0.7,所以以0.7作为阈值。概率大于0.7的样本视为正样本,小于0.7的是负样本。即样本1、2、3都被视为正样本,其余样本为负样本。此时的TP(被正确分类的正例)有2个,FN(被错分为负例的正例)有8个,TN(True Negative被正确分类的负例)有9个、FP(False Positive被错分为正例的负例)有1个,所以此时TPR为0.2,FPR为0.1
在这里插入图片描述
绘制ROC曲线
在这里插入图片描述
小菜鸟刚刚搞懂的基础概念 自我记录一下

### ROC 曲线概述 ROC 曲线(Receiver Operating Characteristic Curve),即接收者操作特征曲线,是一种广泛应用于机器学习领域中的工具,用于评估二分类模型的性能。该曲线通过绘制不同分类阈值下的假阳性率(False Positive Rate, FPR)和真阳性率(True Positive Rate, TPR)来展现模型的表现[^1]。 #### 基本定义 - **FPR (False Positive Rate)**:表示负样本被错误地预测为正类的比例。 \[ FPR = \frac{FP}{FP + TN} \] - **TPR (True Positive Rate)** 或称为敏感度(Sensitivity)、召回率(Recall):表示实际为正类的样本中,被正确识别为正类的比例。 \[ TPR = \frac{TP}{TP + FN} \] 其中: - \( TP \) 表示真正例数; - \( FP \) 表示假正例数; - \( TN \) 表示真反例数; - \( FN \) 表示假反例数; 通过改变分类器的决策阈值,可以计算出一系列的 \( FPR \) 和 \( TPR \),并将它们绘制成一条二维曲线,这就是 ROC 曲线[^1]。 --- ### AUC 的概念及其意义 AUC 是指 ROC 曲线下的面积(Area Under the Curve)。AUC 被用来量化模型的整体性能。通常情况下,AUC 的取值范围在 0 到 1 之间: - 当 AUC 接近于 1 时,表明模型具有很强的区分能力; - 当 AUC 等于 0.5 时,意味着模型无法有效地区分正类和负类; - 如果 AUC 小于 0.5,则可能说明模型存在严重的偏差或者数据标签颠倒的情况[^1]。 --- ### ROC 曲线的实际应用 在 Python 中可以通过 `sklearn.metrics` 提供的功能轻松实现 ROC 曲线的绘制以及 AUC 的计算。以下是具体的操作流程与代码实例: ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 创建模拟数据集 X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42) # 数据划分 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 构建逻辑回归模型并训练 model = LogisticRegression() model.fit(X_train, y_train) # 获取测试集中每个样本属于正类的概率分数 y_scores = model.predict_proba(X_test)[:, 1] # 计算 ROC 曲线的相关参数 fpr, tpr, thresholds = roc_curve(y_test, y_scores) roc_auc = auc(fpr, tpr) # 绘制 ROC 曲线图 plt.figure(figsize=(8, 6)) plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC curve (area = {roc_auc:.2f})') plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--') # 随机猜测基线 plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic Example') plt.legend(loc="lower right") plt.show() ``` 此段代码展示了如何利用逻辑回归构建一个简单的分类模型,并基于测试集上的概率得分生成 ROC 曲线及对应的 AUC 值[^2]。 --- ### 总结 综上所述,ROC 曲线不仅能够直观地反映出分类模型在各种阈值条件下的表现情况,而且还能借助 AUC 来提供一种统一的标准去评判多个模型间的优劣差异。因此,在许多场景下,尤其是涉及不平衡类别分布的任务里,ROC-AUC 成为了不可或缺的重要评价手段之一[^1]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值