mmdetection学习&训练测试自己的数据集

本文详细介绍商汤科技和香港中文大学联合开源的深度学习目标检测工具箱MMDetection的环境搭建、配置流程、VOC格式数据集训练及测试方法。涵盖从环境准备到模型训练的全过程,适用于初学者快速上手。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、本机使用环境

商汤科技和香港中文大学联合开源的深度学习目标检测工具箱mmdetection源码地址

Ubuntu16.04

Cuda9.0 + cudnn7.5

Python3.6

GCC 7.2

Anaconda3

二、环境配置

官方配置教程(建议按此教程进行)

1.使用conda创建虚拟环境

conda create -n mmdetection python=3.6
source activate mmdetection

Anaconda镜像源已经可以使用

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

# 设置搜索时显示通道地址
conda config --set show_channel_urls yes
安装pytorch需要添加pytorch源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

2.安装pytorch

pytorch安装直接使用官网的命令即可,但是要把-c python去掉否则无法使用pytorch的清华源

比如我的cuda是9.0所以我使用的命令为
 

conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=9.0
#其中cudatoolkit只是一个cuda的工具包

3.clone仓库

git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection

4.运行命令

python setup.py develop

建议在运行之前把以下的包装好(虽然此命令是自动下载下面的包,但是很慢)

mmdetection的步骤,至此完成。可以建立demo.py文件,测试一波。(模型是存储在亚马逊云服务器上,下载会比较慢)

from mmdet.apis import init_detector, inference_detector, show_result
import mmcv

config_file = 'configs/faster_rcnn_x101_32x4d_fpn_1x.py'
checkpoint_file = 'checkpoints/faster_rcnn_x101_32x4d_fpn_2x_20181218-0ed58946.pth'

# build the model from a config file and a checkpoint file
model = init_detector(config_file, checkpoint_file, device='cuda:0')

# test a single image and show the results
img = 'test.jpg'  # or img = mmcv.imread(img), which will only load it once
result = inference_detector(model, img)
# visualize the results in a new window
show_result(img, result, model.CLASSES)
# or save the visualization results to image files
#show_result(img, result, model.CLASSES, out_file='result.jpg')

# test a video and show the results
'''
video = mmcv.VideoReader('video.mp4')
for frame in video:
    result = inference_detector(model, frame)
    show_result(frame, result, model.CLASSES, wait_time=1)

三-VOC格式数据集训练与测试

1.数据集存放位置(如果服务器已有此数据集,建议使用软链接)

mmdetection
├── mmdet
├── tools
├── configs
├── data
│   ├── VOCdevkit
│   │   ├── VOC2007
│   │   │   ├── Annotations
│   │   │   ├── JPEGImages
│   │   │   ├── ImageSets
│   │   │   │   ├── Main
│   │   │   │   │   ├── test.txt
│   │   │   │   │   ├── train.txt
                    |—— trainval.txt

2代码修改

①mmdet/dataset/voc.py,把里面的类别改成你自己数据集的类别。

②mmdet/core/evaluation/class_name.py,把里面的voc_classes()改成你自己数据集的类别。

③修改config文件,以下我使用的RetinaNet样例

# model settings
model = dict(
    type='RetinaNet',
    pretrained='open-mmlab://resnext101_32x4d',
    backbone=dict(
        type='ResNeXt',
        depth=101,
        groups=32,
        base_width=4,
        num_stages=4,
        out_indices=(0, 1, 2, 3),
        frozen_stages=1,
        style='pytorch'),
    neck=dict(
        type='FPN',
        in_channels=[256, 512, 1024, 2048],
        out_channels=256,
        start_level=1,
        add_extra_convs=True,
        num_outs=5),
    bbox_head=dict(
        type='RetinaHead',
        num_classes=21, #修改为自己数据集的类别数+1
        in_channels=256,
        stacked_convs=4,
        feat_channels=256,
        octave_base_scale=4,
        scales_per_octave=3,
        anchor_ratios=[0.5, 1.0, 2.0],
        anchor_strides=[8, 16, 32, 64, 128],
        target_means=[.0, .0, .0, .0],
        target_stds=[1.0, 1.0, 1.0, 1.0],
        loss_cls=dict(
            type='FocalLoss',
            use_sigmoid=True,
            gamma=2.0,
            alpha=0.25,
            loss_weight=1.0),
        loss_bbox=dict(type='SmoothL1Loss', beta=0.11, loss_weight=1.0)))
# training and testing settings
train_cfg = dict(
    assigner=dict(
        type='MaxIoUAssigner',
        pos_iou_thr=0.5,
        neg_iou_thr=0.4,
        min_pos_iou=0,
        ignore_iof_thr=-1),
    allowed_border=-1,
    pos_weight=-1,
    debug=False)
test_cfg = dict(
    nms_pre=1000,
    min_bbox_size=0,
    score_thr=0.05,
    nms=dict(type='nms', iou_thr=0.5),
    max_per_img=100)
# dataset settings
dataset_type = 'VOCDataset'
data_root = 'data/VOCdevkit/'
img_norm_cfg = dict(
    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size_divisor=32),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=(1333, 800),
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=True),
            dict(type='RandomFlip'),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='Pad', size_divisor=32),
            dict(type='ImageToTensor', keys=['img']),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    imgs_per_gpu=2,
    workers_per_gpu=2,
    train=dict(
        type=dataset_type,
        ann_file=data_root + 'VOC2007/ImageSets/Main/train.txt',
        img_prefix=data_root + 'VOC2007/',
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        ann_file=data_root + 'VOC2007/ImageSets/Main/trainval.txt',
        img_prefix=data_root + 'VOC2007/',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        ann_file=data_root + 'VOC2007/ImageSets/Main/test.txt',
        img_prefix=data_root + 'VOC2007/',
        pipeline=test_pipeline))
# optimizer
optimizer = dict(type='SGD', lr=0.005, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))
# learning policy
lr_config = dict(
    policy='step',
    warmup='linear',
    warmup_iters=500,
    warmup_ratio=1.0 / 3,
    step=[8, 11])
checkpoint_config = dict(interval=1)
# yapf:disable
log_config = dict(
    interval=50,
    hooks=[
        dict(type='TextLoggerHook'),
        # dict(type='TensorboardLoggerHook')
    ])
# yapf:enable
# runtime settings
total_epochs = 32
device_ids = range(8)
dist_params = dict(backend='nccl')
log_level = 'INFO'
work_dir = './work_dirs/retinanet_x101_32x4d_fpn_1x'
load_from = None
resume_from = None
workflow = [('train', 1)]

四 训练

python tools/train.py configs/RetinaNet.py --gpus 1 

--gpus 为使用gpu的数量,默认是从第0块卡开始

五 测试

由于test.py文件中只对coco数据集进行eval,所以先用test.py生成pkl文件,再用eval_voc.py进行计算map

python tools/test.py configs/RetinaNet.py work_dirs/latest.pth --out=eval/result.pkl

使用pkl文件计算机每个类的ap

python tools/voc_eval.py eval/result.pkl configs/RetinaNet.py

还有许多使用命令,参考GitHub上的教程即可

推荐阅读

https://blog.youkuaiyun.com/marshallwu1/article/details/93331712

<think>好的,我现在需要帮助用户解决如何在MMDetection中仅保存最佳模型权重的问题。根据用户提供的引用内容,我需要仔细查看提供的三个引用,看看是否有相关的配置方法。 首先,引用[2]提到MMDetection训练脚本中,保存的checkpoint文件路径在work_dir中,命名格式遵循特定规则,并且可以自动保存指定指标最高的checkpoint文件。这说明MMDetection本身支持保存最佳模型的功能,用户需要配置相应的钩子(hook)。 然后引用[3]提到在早停策略中,checkpointhook仍会正常工作,保存过程中指标最高的模型权重,但要注意min_delta参数的设置。这可能涉及到验证间隔和评估器的配置,以确保正确触发保存条件。 接下来,用户的问题是如何配置MMDetection只保存最佳权重。根据引用中的信息,通常需要修改配置文件中的checkpoint_config和evaluation配置。用户需要设置checkpoint_config中的max_keep_ckpts为1,这样只保留最好的一个模型。同时,需要确保evaluation中的save_best参数设置为对应的评估指标,比如'mAP'或'bbox_mAP'。 另外,需要注意验证间隔interval的设置,确保在训练过程中定期评估模型,并根据评估结果保存最佳模型。例如,interval=1表示每个epoch后都进行评估,这样能及时保存最佳权重。 此外,引用[1]提到混合精度训练中的loss_scale调整,这可能与当前问题无关,但需要确认是否会影响模型保存的流程。不过根据问题描述,用户主要关注保存最佳权重,所以可以暂时忽略这部分内容。 总结步骤: 1. 在配置文件中找到checkpoint_config,设置max_keep_ckpts=1,这样系统会自动删除旧模型,只保留最佳的一个。 2. 在evaluation配置中,设置save_best为所需的指标,如'bbox_mAP',并确认指标名称是否正确。 3. 调整验证间隔interval,确保评估频率足够,比如每个epoch评估一次。 4. 注意早停策略中的min_delta参数,引用[3]建议设置为0,避免因为默认值过大导致提前停止训练,但保存最佳权重的钩子不受影响。 可能的疑问点:是否同时需要配置CheckpointHook和EvalHook?根据MMDetection的文档,CheckpointHook负责保存模型,而EvalHook负责评估并触发保存最佳模型的条件。因此,正确的配置需要两者配合,确保评估后根据结果保存最佳模型。 需要验证配置文件中的各个参数是否正确关联,例如在MMDetection中,默认的配置文件可能已经包含了一些钩子,用户需要覆盖这些设置来达到只保存最佳权重的目的。此外,用户需要确认评估指标的名称是否正确,不同数据集或任务可能指标名称不同,比如COCO的mAP和VOC的AP可能不同。 最后,建议用户检查生成的work_dir中的文件,确认是否只有一个最佳模型被保存,并且其他中间模型被删除。如果有问题,可能需要检查日志文件,查看保存模型时的评估指标是否正确,以及max_keep_ckpts是否生效。</think>在MMDetection中实现仅保存最佳模型权重,需通过修改配置文件中的`checkpoint_config`和`evaluation`参数实现,具体步骤如下: --- ### **1. 配置Checkpoint Hook** 在配置文件中添加或修改`checkpoint_config`部分,设置`max_keep_ckpts=1`以仅保留最优权重: ```python checkpoint_config = dict( interval=1, # 保存间隔(单位:epoch) by_epoch=True, # 按epoch计数 save_optimizer=False,# 不保存优化器状态以减小文件体积 max_keep_ckpts=1, # 仅保留1个最佳权重[^2] rule='greater' # 指标越大越好(如mAP) ) ``` --- ### **2. 配置Evaluation Hook** 在`evaluation`中指定`save_best`参数,定义评估指标: ```python evaluation = dict( interval=1, # 验证间隔(与保存间隔一致) metric='bbox', # 评估指标类型(如目标检测用bbox_mAP) save_best='bbox_mAP' # 以bbox_mAP为指标保存最佳模型[^3] ) ``` - 常用指标参考: - 目标检测:`bbox_mAP`(COCO)、`mAP`(VOC) - 实例分割:`segm_mAP` - 关键点检测:`keypoints_mAP` --- ### **3. 注意参数关联性** - **验证间隔与保存间隔**:需保证`evaluation.interval` ≤ `checkpoint_config.interval`,否则无法及时更新最佳权重。 - **早停策略优化**:若使用`EarlyStoppingHook`,需设置`min_delta=0`避免指标判断误差[^3]。 --- ### **完整配置示例** ```python # 在configs/base/schedules/schedule_1x.py中 checkpoint_config = dict(interval=1, max_keep_ckpts=1, save_optimizer=False) evaluation = dict(interval=1, metric='bbox', save_best='bbox_mAP') ``` --- ### **验证配置效果** 训练完成后,检查`work_dir`目录: ``` work_dir/ ├── best_bbox_mAP_epoch_23.pth # 仅保留最优权重 ├── latest.pth # 最新epoch权重(可选) └── 20240401_123456.log # 训练日志 ``` 日志中会显示类似信息: ``` Best checkpoint (bbox_mAP: 0.735) saved at epoch 23 [^2] ```
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值