深度学习评价指标

图像分类评价指标

图像分类是计算机视觉中最基础的一个任务,也是几乎所有的基准模型进行比较的任务,从最开始比较简单的10分类的灰度图像手写数字识别mnist,到后来更大一点的10分类的cifar10和100分类的cifar100,到后来的imagenet,图像分类任务伴随着数据库的增长,一步一步提升到了今天的水平。现在在Imagenet这样的超过1000万图像,2万类的数据集中,计算机的图像分类水准已经超过了人类。图像分类,顾名思义就是一个模式分类问题,它的目标是将不同的图像,划分到不同的类别,实现最小的分类误差,这里我们只考虑单标签分类问题,即每一个图片都有唯一的类别。
对于单个标签分类的问题,评价指标主要有Accuracy,Precision,Recall,F-score,PR曲线,ROC和AUC。在计算这些指标之前,我们先计算几个基本指标,这些指标是基于二分类的任务,也可以拓展到多分类。计标签为正样本,分类为正样本的数目为True Positive,简称TP。标签为正样本,分类为负样本的数目为False Negative,简称FN。标签为负样本,分类为正样本的数目为False Positive,简称FP。标签为负样本,分类为负样本的数目为True Negative,简称TN。
判别是否为正例只需要设一个概率阈值T,预测概率大于阈值T的为正类,小于阈值T的为负类,默认就是0.5。如果我们减小这个阀值T,更多的样本会被识别为正类,这样可以提高正类的召回率,但同时也会带来更多的负类被错分为正类。如果增加阈值T,则正类的召回率降低

### 深度学习模型评估指标详解 #### 准确率 (Accuracy) 准确率是指分类器预测正确的样本数占总样本数的比例。尽管它是一个直观的指标,但在类别分布不均衡的情况下可能具有误导性。例如,在高度偏斜的数据集中,即使模型仅预测多数类别的标签,也可能获得较高的准确率[^1]。 计算公式如下: ```python accuracy = (TP + TN) / (TP + TN + FP + FN) ``` #### 召回率 (Recall) 召回率也称为敏感度或真正率(True Positive Rate, TPR),表示实际为正类的样本中有多少被正确识别出来。在某些场景下,比如医疗诊断或欺诈检测,提高召回率尤为重要[^2]。 其定义为: ```python recall = TP / (TP + FN) ``` #### 精确率 (Precision) 精确率反映了模型预测为正类的样本中实际为正类的比例。对于关注减少错误警报的应用来说,这是一个重要的考量因素[^3]。 具体表达式为: ```python precision = TP / (TP + FP) ``` #### F1分数 (F1 Score) 由于精确率和召回率往往存在权衡关系,因此引入了综合两者优点的F1分数作为单一评价标准。它是精确率与召回率的调和平均值[^4]: \[ \text{F1} = 2 * (\frac{\text{precision} * \text{recall}}{\text{precision} + \text{recall}}) \] #### AUC-ROC 曲线 接收者操作特性曲线(Area Under the Curve - Receiver Operating Characteristic),简称AUC-ROC,用于描绘不同阈值设置下真阳性和假阳性之间的权衡情况。理想情况下,这条曲线应尽可能接近坐标系中的左上角位置,表明模型具备良好的区分能力。 绘制方法基于一系列点构成,这些点由对应于各个决策界限处所得到的TPR(纵轴)及其伴随产生的FPR(横轴)组成。 ```python from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt fpr, tpr, thresholds = roc_curve(y_true, y_scores) roc_auc = auc(fpr, tpr) plt.figure() lw = 2 plt.plot(fpr, tpr, color='darkorange', lw=lw, label='ROC curve (area = %0.2f)' % roc_auc) plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver operating characteristic example') plt.legend(loc="lower right") plt.show() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值