分类模型评估——混淆矩阵、评估指标、ROC与AUC

本文介绍了混淆矩阵及其在评估分类模型正确性中的应用,详细阐述了正确率、精准率、召回率和F1值等评估指标,并讲解了ROC曲线和AUC的概念,用于衡量二分类系统的性能。示例代码展示了如何计算和绘制ROC曲线,一个具有0.88 AUC值的模型表现出良好的分类性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

混淆矩阵

混淆矩阵,可以用来评估模型分类的正确性。该矩阵是一个方阵,矩阵的数值用来表示分类器预测的结果,包括真正例(True Positive),假正例(False Positive),真负例(True Negative),假负例(False Negative)。
混淆矩阵

import numpy as np
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
#混淆矩阵
from sklearn.metrics import confusion_matrix
import matplotlib.pyplot as plt
import warnings

plt.rcParams['font.family'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False
plt.rcParams['font.size'] = 12

warnings.filterwarnings('ignore')

iris = load_iris()
x, y = iris.data, iris.target
x = x[y!=0, 2:]
y = y[y!=0]
y[y==1] = 0
y[y==2] = 1
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=2)
lr = LogisticRegression()
lr.fit(x_train, y_train)
y_hat = lr.predict(x_test)
#根据传入的真实值与预测值,创建混淆矩阵
matrix = confusion_matrix(y_true
### 混淆矩阵ROC曲线的区别、联系及其使用方法 #### 区别 混淆矩阵ROC曲线在机器学习模型评估中有不同的侧重点。 1. **粒度概述** - 混淆矩阵提供的是逐类细分的模型性能分析,能够帮助识别模型在哪一类上表现不佳[^2]。 - ROC曲线则给出整体概览,展示模型在整个阈值范围内的判别能力,并通过AUC(曲线下面积)量化总体性能。 2. **数据集不平衡的影响** - 对于类别不平衡的数据集,混淆矩阵中的精确率和召回率等指标能更直观反映问题所在。 - 而ROC曲线由于未直接考虑类别比例,在这种情况下可能会显得不够敏感。 3. **适用场景** - 混淆矩阵适用于二分类以及多分类任务,可针对每种类别单独评价其预测效果。 - ROC曲线主要用于二分类情境下研究不同决策边界带来的影响;不过也可以推广至多分类情形。 4. **阈值依赖性** - 混淆矩阵基于单一固定的判定标准来计算各项统计量。 - ROC曲线描绘了随着阈值变化时真阳性率(TPR)相对于假阳性率(FPR)的变化趋势[^3]。 #### 联系 两者均用于衡量分类器的表现质量,且存在一定的关联: - 构建ROC曲线的基础正是来自多个混淆矩阵的结果集合。具体而言,每一个特定阈值对应的TPR和FPR可以从相应的混淆矩阵中提取出来形成该点坐标[^3]。 - AUC作为综合考量整个操作空间效能的重要参数之一,实际上是对一系列离散化后的局部区域求积分得到总覆盖面积的过程,这些局部即是由各个独立测试所得出的不同状态下的混淆表贡献而成。 #### 使用方法 以下是两种工具的具体应用指南: ##### 混淆矩阵 - 计算各类别的真正例(True Positive),假正例(False Positive),真反例(True Negative),假反例(False Negative)[^5]。 - 进一步衍生出准确率(Accuracy),精准度(Precision),召回率(Recall/Sensitivity),特异度(Specificity)等一系列关键绩效指示符(KPIs)[^4]。 ##### ROC曲线 - 设定多种可能性判断界限P∈[0,1],分别记录每次试验产生的实际观测值对{(FP_rate_i , TP_rate_i)}并绘制成图象表示形式。 - 利用数值积分技术估算总面积大小以获得最终评分结果——AUC得分越高表明系统越优秀。 ```python from sklearn.metrics import confusion_matrix, roc_curve, auc import matplotlib.pyplot as plt import numpy as np # Example data generation (replace with your actual dataset) y_true = np.array([0, 0, 1, 1]) y_scores = np.array([0.1, 0.4, 0.35, 0.8]) # Confusion Matrix Calculation at default threshold of 0.5 cm_default_threshold = confusion_matrix(y_true, y_scores >= 0.5) fpr, tpr, thresholds = roc_curve(y_true, y_scores) roc_auc = auc(fpr, tpr) plt.figure() lw = 2 plt.plot(fpr, tpr, color='darkorange', lw=lw, label=f'ROC curve (area = {roc_auc:.2f})') plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--') # Diagonal line representing random guessing. plt.xlim([-0.05, 1.05]) plt.ylim([-0.05, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic Curve') plt.legend(loc="lower right") plt.show() print("Confusion matrix:\n", cm_default_threshold) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值