(深度学习评估指标)——MS COCO detection evaluation metrics

最新推荐文章于 2025-06-07 09:00:43 发布
原创 最新推荐文章于 2025-06-07 09:00:43 发布 · 7.8k 阅读 · 33 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#COCO #Metrics #深度学习评价指标

本文深入解析COCO数据集中的评估指标，包括平均精度(AP)和平均召回率(AR)的计算方法，以及各类目标大小的定义。通过实例分析，如ResNet检测器的表现，揭示定位误差、类别混淆和背景假正例对检测性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇文章可以教会你如何看论文最下面的评价指标曲线图。
目前网上关于coco metrics的翻译都比较差，希望以此提高整体水平。
如有不足，还请指教！

1、概述：

本文介绍MC COCO数据集用到的Metrics

2、Metrics 简介

在这里插入图片描述
说明：
1、除非有其他说明，否则AP和AR是多个IoU的平均值，具体来说就是我们使用十个不同的阈值.50:.05:.95。相对于传统只使用单个0.5的阈值相比，这是一个突破。使用平均IoU可以提高探测器的定位精度。
2、AP是各个种类的平均值，传统上我们也叫作mAP，但是在COCO Metrics中我们认为他们是一样的。
3、AP(averaged across all 10 IoU thresholds and all 80 categories)将被用来确定挑战赛的冠军，它是最重要的评价指标。
4、在COCO数据集中，小目标的数量更多，具体为：

  • 41% of objects are small (area < 322)
  • 34% are medium (322 < area < 962)
  • 24% are large (area > 962)

area的计算方法：像素点的个数
5、AR是这样计算的，每张图给出固定个数个detection，比如分别给出1个、10个、100个detection，我们分别计算这三种不同条件下的recall，取其中的最大值。然后还需要进一步在类别和IOU阈值上进行平均。
6、在计算Metrics时，一张图最多使用得分最高的100个detection参与计算，这100个detection可以属于不同的类别。
7、在评价bounding boxes和segmentation masks时，评价指标是完全一样的。但是要注意它们的IOU计算方式不同。

3. Evaluation Code

python API：https://github.com/cocodataset/cocoapi/blob/master/PythonAPI/pycocotools/cocoeval.py
在运行evaluation code前，首先要保证你的数据格式正确。
格式另外介绍

4. Analysis Code

为了更好的分析结果，COCO官方还提供了analyze()函数，它可以可视化误报的情况(false postive)，以下两幅图是2015年何凯明等人使用ResNet(bbox)检测器的分析结果
在这里插入图片描述
1、C75: 在IOU=0.75条件下，recall-AP曲线下的面积
2、C50: 在IOU=0.5条件下，recall-AP曲线下的面积
3、Loc: 在IoU=.10条件下，recall-AP曲线下的面积(由于此时IoU的阈值很小，可以认为忽略了定位误差，但保证了不会重复检测——localization errors ignored, but not duplicate detections)
4、Sim: 去除相似类别的混淆后的recall-AP曲线下的面积
5、Oth: 不同类别之间的混淆后的recall-AP曲线下的面积
6、BG: 去除背景上的假正例后的recall-AP曲线下的面积
7、FN: 所有错误都去掉后的recall-AP曲线下的面积

注：关于Sim,Oth,BG,FN
每个假正例(False Positive)被分类成四种类型：
（1）Loc：定位错误（一种与正确类重叠交叉面积在0.1到0.5之间的检测方式）
（2）Sim：与相似类别混淆 ，什么是相似类别（比如狼、狗都属于犬科这种），注意人类没有相似类别
（3）Oth：不同类别之间的混淆 ，把猫认成了狗
（4）BG：对于背景上的假正例

对于上面两张图的分析： 对于overall-all-all这个图来说，IOU在0.75时的AP是0.399，如果我们去掉定位误差，那么它的AP增长到了0.628，但是如果只去掉不同类别之间的混淆，AP仅仅增长到了0.713。如果把所有的误报（FN）都去掉的话，那么AP直接增长到了0.870，剩下的0.130就是漏报了(missing detection)。总的来说，ResNet的误差主要来自于定位误差和背景上的假正

For a given detector, the code generates a total of 372 plots! There are 80 categories, 12 supercategories, and 1 overall result, for a total of 93 different settings, and the analysis is performed at 4 scales (all, small, medium, large, so 934=372 plots). The file naming is [supercategory]-[category]-[size].pdf for the 804 per-category results, overall-[supercategory]-[size].pdf for the 124 per supercategory results, and overall-all-[size].pdf for the 14 overall results. Of all the plots, typically the overall and supercategory results are of the most interest.

Note: analyze() can take significant time to run, please be patient. As such, we typically do not run this code on the evaluation server; you must run the code locally using the validation set. Finally, currently analyze() is only part of the Matlab API; Python code coming soon.

第二十章 MMDetection3D解析系列十一_模型精度评测（evaluation）(车道线感知)
专注于人工智能学习，总结
10-17 419
在定义新的评测指标类时，需要继承基类BaseMetric（关于该基类的介绍，可以参考设计文档此外，评测指标类需要用注册器 METRICS 进行注册（关于注册器的说明请参考 Registry 文档）。实现 process() 方法。该方法有 2 个输入参数，分别是一个批次的测试数据样本 data_batch 和模型预测结果 data_samples。我们从中分别取出样本类别标签和分类预测结果，并存放在 self.results 中。实现 compute_metrics() 方法。
〖MMDetection〗解析文件：mmdet/evaluation/metrics/coco_metric.py
sinat_39783664的博客
10-17 531
mmdetection源码解析
深度学习评价指标
hxf-v
08-12 1133
深度学习模型评价指标图像分类评价指标准确率Accuracy精确度Precision和召回率RecallF1 score混淆矩阵ROC曲线与AUC 图像分类评价指标 图像分类是计算机视觉中最基础的一个任务，也是几乎所有的基准模型进行比较的任务，从最开始比较简单的10分类的灰度图像手写数字识别mnist，到后来更大一点的10分类的cifar10和100分类的cifar100，到后来的imagenet，...
COCO detection evaluation metric
Do not mess it up
12-22 637
http://cocodataset.org/#detection-eval 1. Detection Evaluation This page describes the detection evaluation metrics used by COCO. The evaluation code provided here can be used to obtain results on t...
深入解析COCO数据集评估工具pycocotools/cocoeval.py
最新发布
gitblog_00085的博客
06-07 347
深入解析COCO数据集评估工具pycocotools/cocoeval.py 概述 COCO数据集是计算机视觉领域最具影响力的目标检测、实例分割和关键点检测基准数据集之一。pdollar/coco项目中的cocoeval.py文件是COCO官方提供的评估工具核心实现，用于计算目标检测、分割和关键点检测任务的各项指标。 评估流程详解 COCOeval类提供了完整的评估流程，主要包含以下几个关键步骤：...
mmdet模型评测中的coco_metric类
ShiTianlei的博客
11-21 653
CocoMetric的类，用于评估目标检测和实例分割模型的性能，其评估指标与 COCO 数据集常用的评估指标一致。
【深度学习】COCO目标检测测评指标
JNing
04-19 1万+
【深度学习】COCO目标检测测评指标
COCO数据集人体姿态估计关键点检测评估
babbycool的博客
02-27 1万+
MS COCO数据集人体关键点评估（Keypoint Evaluation）
深度学习目标检测数据VisDrone2019（to yolo / voc / coco）---MMDetection数据篇
热门推荐
qq_41627642的博客
05-11 4万+
1、VisDrone2019数据集介绍 配备摄像头的无人机(或通用无人机)已被快速部署到广泛的应用领域，包括农业、航空摄影、快速交付和监视。因此，从这些平台上收集的视觉数据的自动理解要求越来越高，这使得计算机视觉与无人机的关系越来越密切。我们很高兴为各种重要的计算机视觉任务展示一个大型基准，并仔细注释了地面真相，命名为VisDrone，使视觉与无人机相遇。VisDrone2019数据集由天津大学机器学习和数据挖掘实验室AISKYEYE团队收集。基准数据集包括288个视频片段，由261908帧和10209幅静
深度学习基础知识
m2272536077的博客
07-23 599
深度学习基础知识：代码，理论
mmdetection训练自己的COCO数据集及常见问题
weixin_43570470的博客
06-06 9874
mmdetection训练自己的COCO数据集及常见问题
MS COCO数据集简介及评估标准介绍
Airs-Gao的博客
01-20 4869
MS COCO数据集简介及评估标准介绍1.简介2. 数据集信息3.评估标准4. 代码 COCO官网：http://cocodataset.org COCO论文1：Microsoft COCO: Common Objects in Context COCO论文2：What makes for effective detection proposals? 1.简介 MS COCO的全称是Microsoft Common Objects in Context。 MS COCO 数据集是微软构建的一个数据集，
MMDetection 系列(一): 初步入门配置文件
RessCris的博客
11-04 398
学习配置文件。
【一文看懂】深度学习中常用的各项评价指标含义TP、FP、TN、FN、Accuracy、Recall、F1、IoU、mIoU
qq_27816785的博客
06-26 1万+
无论是对于图像领域的分类、分割问题，亦或点云领域的物体分类、场景分割，在评价一个模型的好坏时，经常涉及TP、FP、TN、FN、IoU、Accuracy。。。等指标进行衡量，那么这些指标是什么意思呢？我请到了鸭子先生、猴子客人和熊猫管家来给大家亲身示范一下。咦！发现10个可爱的小动物，可是我们不知道是什么动物，要不用深度学习分一下类吧？ 这个时候我们直接掏出训练好的，把这些小动物丢进去，一番等待之后，我们有了以下的预测结果： 很明显，模型并没有非常完美的完成任务。但是如何评价它呢？对某一来讲：T = tru
COCO Detection Challenge
Daniel2333的博客
07-18 9186
IntroductionCOCO的全称是Common Object in Context, 是 MicroSoft 赞助的CV挑战, 包含 Detections, Captions, Keypoints 三个Challenge, 及相应的数据集. 接下来根据coco 2016介绍它的Detection Challenge. 值得指出的是, coco2016 detection与coco2015
深度学习：目标检测的指标AP与mAP是什么
lhzhqq的博客
07-06 2306
在目标检测任务中，通过不同的IoU阈值来进行检测器的整体的性能评估，对于MS COCO目标检测，对于MS COCO关键点检测，官方给出的评价指标为OKS（object keypoints similarity），其评价指标和检测的IoU也很类似，在不同的阈值下来实现整体的性能评估
深度学习（8）——分类模型评估Evaluation（Recall,Precision,Accuracy）
weixin_41761357的博客
12-16 2222
分类模型评估标准 不同的任务有不同的评估标准，这里只介绍分类任务的评估指标。（Recall,Precision,Accuracy） 1.Accuracy正确率 分类正确的样本占总样本的个数： 但是ACC有一个很大的弊端，如果训练的样本全是负样本，分类器把所有样本预测为负样本也能获得高准确率，当类别占比不均衡时，占比大的类别会影响分类器的准确率。 2.Precision精确率&Recall召回率 首先需要认识一下混淆矩阵：横向表示预测结果，纵向表示真实标签 关于TP\FN\FP\TN，表示预测结果
Mask RCNN网络源码解读（Ⅵ） --- 自定义数据集读取：MS COCO&Pascal VOC
qq_41694024的博客
01-11 1778
自定义数据集读取：MS COCO&Pascal VOC
准确率，精确率(AP)与召回率（AR）
07-19 9058
准确率、精确率和召回率是在目标检测中非常重要的指标，那么它们能反映出模型的结果中的哪些问题呢？如下： 准确率、精确率和召回率的解释： True Positive(真正，TP)：将正类预测为正类数 True Negative(真负，TN)：将负类预测为负类数 False Positive(假正，FP)：将负类预测为正类数误报 (Type I error) False Negative(假负，FN)：将正类预测为负类数→漏报 (Type II error) 准确率、精确率和召回率的公式： 准确率（
03/12 10:52:46 - mmengine - ERROR - /home/vr/mmdetection-3.0.0/mmdet/evaluation/metrics/coco_metric.py - compute_metrics - 461 - The testing results of the whole dataset is empty.
03-13
<think>好的，我需要帮助用户解决在MMDetection中使用coco_metric.py计算指标时数据集测试结果为空的问题。根据用户提供的引用内容，解决方案涉及到修改coco_metric.py文件和class_names.py文件中的数据集类别。 首先，我要确认用户的问题可能出在哪里。测试结果为空通常有几个常见原因：数据集的类别未正确配置，导致评估时无法匹配预测结果和真实标签；或者评估指标的计算过程中存在路径或文件读取错误；还有可能是数据预处理或后处理的步骤有误。 根据引用[1]，用户提到在MMDetection3.x版本中，需要修改coco_metric.py文件来查看每个类别的mAP结果。这可能涉及到在计算指标时正确加载类别信息，并确保评估函数能够正确解析预测结果和真实标注的类别ID。 引用[2]指出，用户需要修改class_names.py中的coco_classes数据集类别。这说明用户可能在使用自定义数据集，或者在COCO数据集的类别定义上与当前配置不符，导致评估时类别不匹配，从而结果为空。 接下来，我需要将这些信息整合成一个解决方案。步骤可能包括： 1. 检查数据集配置是否正确，确保测试集路径和标注文件正确无误。 2. 修改coco_metric.py中的相关代码，确保在计算指标时正确获取类别信息，并处理预测结果。 3. 更新class_names.py中的类别列表，使其与当前数据集的类别一致，避免ID不匹配的问题。 4. 验证修改后的配置，重新运行测试，检查输出结果是否正常。 另外，可能还需要考虑其他因素，例如数据加载是否正确，预测结果是否生成，以及日志文件中的错误信息，这些都能帮助进一步诊断问题。例如，如果类别ID在预测结果中超出了数据集定义的类别数量，评估时可能会忽略这些结果，导致空值。 需要确保所有修改后的文件被正确保存，并且重新编译或重新安装相关模块（如果有必要），以避免缓存导致的旧代码执行。同时，建议用户在修改前后进行代码版本控制，方便回滚和比较变更。 最后，生成相关问题时要围绕MMDetection的配置、自定义数据集的评估、常见错误排查等方面，帮助用户扩展相关知识，预防类似问题。</think>针对MMDetection中coco_metric.py计算指标时数据集测试结果为空的问题，以下是逐步解决方案： ### 解决方案 1. **检查数据集配置** - 确认`configs/_base_/datasets/coco_detection.py`中`test`字段的`ann_file`和`img_prefix`路径正确 - 验证测试集标注文件是否包含有效标注内容（可使用COCO API检查） 2. **修改评估指标参数** ```python # 修改coco_metric.py中的compute_metrics方法 def compute_metrics(self, results): metrics = ['bbox'] coco_evaluator = CocoEvaluator(self.ann_file, metrics) # 添加结果解析异常捕获 try: coco_evaluator.evaluate(results) except Exception as e: print(f"Evaluation error: {str(e)}") return coco_evaluator.get_results() ``` 3. **更新类别定义文件** ```python # 修改mmdet/evaluation/functional/class_names.py def get_classes(cls, dataset_type): if dataset_type == 'coco': return [ 'person', 'bicycle', 'car', ..., # 必须与测试集实际类别完全一致 ] # 添加自定义数据集处理分支 elif dataset_type == 'my_custom_dataset': return ['class1', 'class2', ...] ``` 4. **启用详细日志输出** ```python # 在configs中添加评估配置 evaluation = dict( interval=1, metric=['bbox'], save_best='bbox_mAP', rule='greater', # 新增详细输出参数 classwise=True, outfile_prefix='./work_dirs/coco_eval') ``` ### 关键验证步骤 1. **检查预测结果格式**：确保模型输出为标准的COCO JSON格式，包含： ```json { "image_id": int, "category_id": int, "bbox": [x,y,w,h], "score": float } ``` 2. **验证类别对应关系**： $$ \text{预测类别ID} \in \{0,1,...,N-1\} \quad \text{其中}N=\text{数据集类别总数} $$ 3. **查看中间输出**： ```bash tail -f work_dir/log.txt | grep 'Evaluating' ``` 应出现类似输出： ``` Evaluating bbox... Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.387 ``` ### 常见错误排查 - **类别ID偏移**：当使用预训练模型时，若自定义数据集类别数与COCO不同，需修改`num_classes`参数 - **标注格式错误**：使用`pycocotools.coco`验证标注文件： ```python from pycocotools.coco import COCO coco = COCO(ann_file) print(coco.getCatIds()) # 应输出有效类别ID列表 ``` [^1]: MMDetection官方文档建议通过修改评估参数解决类别指标显示问题 [^2]: COCO数据格式要求类别ID从1开始连续编号
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值