1. 为什么你需要这篇VisDrone转COCO的保姆级教程?
如果你正在研究无人机视角下的目标检测,比如智慧交通、安防监控或者城市管理,那你大概率绕不开VisDrone这个数据集。我刚开始接触它的时候,也是被它复杂的标注格式给“教育”了一番。VisDrone官方提供的标注是TXT文件,每一行密密麻麻的数字,而像mmdetection、detectron2这些主流的目标检测框架,它们“认”的却是COCO格式的JSON文件。这就好比你有一份手写的珍贵笔记(VisDrone的TXT),但你想把它存进一个高级的电子图书馆(mmdetection),图书馆管理员只接受特定格式的电子文档(COCO JSON)。直接硬塞是行不通的,你必须先把手写笔记誊抄、整理成标准格式。
这个过程听起来简单,但实操起来坑点不少。比如,VisDrone的边界框标注是 [左上角x, 左上角y, 宽度, 高度],而且是1-based的坐标系(左上角从1开始计数)。而COCO格式要求的是 [左上角x, 左上角y, 宽度, 高度],但坐标系是0-based(左上角从0开始)。一个简单的“-1”操作如果忘了,所有框的位置都会偏移一个像素,模型训练效果直接崩盘。再比如,VisDrone有12个类别,包括“忽略区域”和“其他”,但你可能只想检测其中部分有效类别,如何在转换过程中进行筛选和ID重映射,也是个需要仔细处理的细节。
所以,这篇内容就是把我自己踩过的这些坑,以及最终跑通整个流程的完整代码和思路,毫无保留地分享给你。我会带你走通从原始TXT到中间VOC XML,再到最终COCO JSON的两步转换法,并详细说明如何让转换好的数据在mmdetection框架里“跑起来”。我的目标是,即使你之前没怎么处理过数据集格式转换,跟着这篇教程一步步做,也能顺利完成,把精力集中在更有价值的模型调优和算法改进上。
2. 第一步:从VisDrone的TXT到VOC XML格式
VisDrone数据集的标注文件放在 annotations 文件夹里,每个TXT文件对应一张同名图片。打开一个TXT文件,你会看到很多行,每行有8个或10个用逗号分隔的数字。对我们转换有用的主要是前8列:<bbox_left>, <bbox_top>, <bbox_width>, <bbox_height>, <score>, <object_category>, <truncation>, <occlusion>。
这里的关键是第6列 object_category,它定义了目标的类别,从0到11。第7列 truncation 和第8列 occlusion 表示目标是否被截断和遮挡,这些信息在某些场景下对训练是有用的,我们可以选择性地保留到XML中。转换的第一步,我们选择先生成VOC格式的XML文件。为什么多此一举?因为VOC XML的结构非常清晰、标准,很多现成的工具和代码都支持它,把它作为一个中间桥梁,再转到COCO JSON会更容易理解和调试。
下面这个Python脚本就是干这个事的。你需要修改开头的几个路径,以及 class_name 列表来匹配你的数据集。我强烈建议你先在一个小的子集(比如10张图片)上运行测试,确认生成的XML文件看起来是合理的。
import os
from PIL import Image
# ========== 第一部分:路径和类别配置 ==========
# 把这几个路径改成你自己的VisDrone数据集路径
root_dir = r"/path/to/your/VisDrone2019-DET-train/" # 你的数据集根目录
annotations_dir = os.path.join(root_dir, "annotations/") # 原始TXT标注目录
image_dir = os.path.join(root_dir, "images/") # 图像目录
xml_dir = os.path.join(root_dir, "Annotations_XML/") # 输出XML目录,程序会自动创建
# 创建输出目录
os.makedirs(xml_dir, exist_ok=True)
# VisDrone的12个类别,注意索引从0开始
class_name = [
'ignored regions', 'pedestrian', 'people', 'bicycle', 'car',
'van', 'truck', 'tricycle', 'awning-tricycle', 'bus', 'motor', 'others'
]
# ========== 第二部分:核心转换循环 ==========
for filename in os.listdir(annotations_dir):
if not filename.endswith('.txt'):
continue
# 1. 准备文件路径
fin_path = os.path.join(annotations_dir, filename)
image_name = filename.split('.')[0]
img_path = os.path.join(image_dir, image_name + ".jpg") # VisDrone图片是.jpg格式
# 打开图片获取宽高信息
try:
img = Image.open(img_path)
img_width, img_height = img.size
except FileNotFoundError:
print(f"警告:找不到图片 {img_path},跳过此标注文件。")
continue
# 2. 开始写入XML文件
xml_path = os.path.join(xml_dir, image_name + '.xml')
with open(xml_path, 'w', encoding='utf-8') as fout:
# 写入XML头部和基本信息
fout.write('<annotation>\n')
fout.write('\t<folder>VisDrone</folder>\n')
fout.write(f'\t<filename>{image_name}.jpg</filename>\n')
# ... (此处省略source/owner等固定信息,可参考原文或自定义)
fout.write('\t<size>\n')
fout.write(f'\t\t<width>{img_width}</width>\n')
fout.write(f'\t\t<height>{img_height}</height>\n')
fout.write('\t\t<depth>3</depth>\n')
fout.write('\t</size>\n')
fout.write('\t<segmented>0</segmented>\n') # 非分割任务,固定为0
# 3. 解析TXT文件中的每一个目标框
with open(fin_path, 'r') as fin:
for line in fin:
line_data = line.strip().split(',')
if len(line_data) < 8: # 确保数据有效
continue
# 提取关键信息
bbox_left = int(line_data[0])
bbox_top = int(line_data[1])
bbox_width = int(line_data[2])
bbox_height = int(line_data[3])
category_id = int(line_data[5])
truncation = int(line_data[6])
occlusion = int(line_data[7])
# 计算VOC格式的边界框 (xmin, ymin, xmax, ymax)
# **关键点**:VisDrone是1-based坐标,VOC是1-based,但计算xmax/ymax时要注意
xmin = bbox_left
ymin = bbox_top
xmax = bbox_left + bbox_width - 1 # 减1是因为起点是1
ymax = bbox_top + bbox_height - 1
# 写入一个object节点
fout.write('\t<object>\n')
fout.write(f'\t\t<name>{class_name[category_id]}</name>\n')
fout.write('\t\t<pose>Unspecified</pose>\n')
fout.write(f'\t\t<truncated>{truncation}</truncated>\n')
fout.write(f'\t\t<difficult>{occlusion}</difficult>\n') # 这里用occlusion作为difficult标记
fout.write('\t\t<bndbox>\n')
fout.write(f'\t\t\t<xmin>{xmin}</xmin>\n')
fout.write(f'\t\t\t<ymin>{ymin}</ymin>\n')
fout.write(f'\t\t\t<xmax>{xmax}</xmax>\n')
fout.write(f'\t\t\t<ymax>{ymax}</ymax>\n')
fout.write('\t\t</bndbox>\n')
fout.write('\t</object>\n')
fout.write('</annotation>')
print(f"已生成:{xml_path}")
print("所有TXT文件已成功转换为XML格式!")
运行完这个脚本后,你的 Annotations_XML 文件夹里应该会有一堆 .xml 文件。用文本编辑器随便打开一个,检查一下结构是否正确,特别是 <bndbox> 里的坐标值是否在图片尺寸范围内。这一步是基础,一定要确保没问题再往下走。
3. 第二步:从VOC XML到COCO JSON格式
有了结构化的XML文件,转换成COCO JSON就相对程式化了。COCO格式的JSON文件主要包含四个顶级字段:images(图片信息列表)、annotations(标注信息列表)、categories(类别信息列表)和 type(通常为 "instances")。
这里有几个核心逻辑需要你理解:
- ID映射:COCO格式要求每个图片、每个标注、每个类别都有唯一ID。我们通常从1开始计数。
- 坐标转换:我们上一步生成的VOC XML坐标是1-based的
(xmin, ymin, xmax, ymax)。COCO需要的是0-based的[x, y, width, height]。所以转换公式是:x = xmin - 1,y = ymin - 1,width = xmax - xmin + 1,height = ymax - ymin + 1。注意,width和height必须为正数。 - 类别过滤与重映射:VisDrone的0类(
ignored regions)和11类(others)在很多任务中是不参与训练和评估的。我们可以在这一步将它们过滤掉,并为剩下的有效类别重新分配连续的ID(比如1到10)。
下面的脚本实现了这个转换过程,并包含了进度提示和健壮性检查。
#!/usr/bin/env python3
import os
import sys
import json
import glob
import xml.etree.ElementTree as ET
# ========== 配置部分 ==========
# 定义你想要保留的类别及其在COCO中的新ID
# 这里我过滤掉了0和11,只保留10个主要类别
PREDEF_CLASSES = {
'pedestrian': 1,
'people': 2,
'bicycle': 3,
'car': 4,
'van': 5,
'truck': 6,
'tricycle': 7,
'awning-tricycle': 8,
'bus': 9,
'motor': 10
}
# 初始标注ID
INITIAL_BBOX_ID = 1
# 输入输出路径
xml_dir = r'/path/to/your/VisDrone2019-DET-train/Annotations_XML/'
output_json_path = r'/path/to/your/VisDrone2019-DET-train/annotations_train.json'
# ========== 工具函数 ==========
def get_and_check(root, tag_name, length=0):
"""从XML节点中查找并检查标签"""
items = root.findall(tag_name)
if len(items) == 0:
raise ValueError(f'在 {root.tag} 中找不到标签 {tag_name}')
if length > 0 and len(items) != length:
raise ValueError(f'标签 {tag_name} 的数量应为 {length},但实际是 {len(items)}')
return items[0] if length == 1 else items
# ========== 核心转换函数 ==========
def convert_xmls_to_coco(xml_path_list, output_json):
"""将一系列XML文件转换为一个COCO格式的JSON文件"""
coco_dict = {
'images': [],
'annotations': [],
'categories': [],
'type': 'instances'
}
# 初始化类别字典(从配置中加载)
category_map = PREDEF_CLASSES.copy()
bbox_id = INITIAL_BBOX_ID
total_files = len(xml_path_list)
for image_id, xml_file in enumerate(xml_path_list):
# 显示进度
sys.stdout.write(f'\r>> 正在转换图片 {image_id + 1}/{total_files}')
sys.stdout.flush()
try:
tree = ET.parse(xml_file)
root = tree.getroot()
except ET.ParseError as e:
print(f"\n解析XML文件失败 {xml_file}: {e}")
continue
# 提取图片基本信息
filename_elem = get_and_check(root, 'filename', 1)
filename = filename_elem.text
size_elem = get_and_check(root, 'size', 1)
width = int(get_and_check(size_elem, 'width', 1).text)
height = int(get_and_check(size_elem, 'height', 1).text)
# 构建image信息并加入列表
image_info = {
'file_name': filename,
'height': height,
'width': width,
'id': image_id + 1 # COCO图片ID通常从1开始
}
coco_dict['images'].append(image_info)
# 处理该图片中的所有目标对象
for obj in root.findall('object'):
# 获取类别名
class_name_elem = get_and_check(obj, 'name', 1)
class_name = class_name_elem.text.strip()
# **关键过滤步骤**:只处理预定义类别中的目标
if class_name not in category_map:
continue # 跳过忽略的类别(如'ignored regions', 'others')
category_id = category_map[class_name]
# 获取边界框 (VOC格式: xmin, ymin, xmax, ymax)
bbox_elem = get_and_check(obj, 'bndbox', 1)
xmin = int(float(get_and_check(bbox_elem, 'xmin', 1).text))
ymin = int(float(get_and_check(bbox_elem, 'ymin', 1).text))
xmax = int(float(get_and_check(bbox_elem, 'xmax', 1).text))
ymax = int(float(get_and_check(bbox_elem, 'ymax', 1).text))
# **关键转换步骤**:VOC -> COCO 格式
# 1. 转换为0-based坐标
x = xmin - 1
y = ymin - 1
# 2. 计算宽度和高度
w = xmax - xmin + 1
h = ymax - ymin + 1
# 检查边界框有效性
if w <= 0 or h <= 0:
print(f"\n警告:在 {filename} 中发现无效边界框 (w={w}, h={h}),已跳过。")
continue
# 构建annotation信息
ann = {
'id': bbox_id,
'image_id': image_id + 1,
'category_id': category_id,
'bbox': [x, y, w, h],
'area': w * h,
'iscrowd': 0, # VisDrone没有crowd标注
'ignore': 0,
'segmentation': [] # 实例分割信息,目标检测留空列表
}
coco_dict['annotations'].append(ann)
bbox_id += 1
sys.stdout.write('\n') # 进度条换行
# 构建categories列表
for class_name, cid in category_map.items():
cat_info = {'id': cid, 'name': class_name, 'supercategory': 'none'}
coco_dict['categories'].append(cat_info)
# 将字典保存为JSON文件,indent参数让文件更易读
with open(output_json_path, 'w', encoding='utf-8') as f:
json.dump(coco_dict, f, indent=4, ensure_ascii=False)
print(f"转换完成!COCO JSON文件已保存至: {output_json_path}")
print(f"统计信息: 图片数={len(coco_dict['images'])}, 标注数={len(coco_dict['annotations'])}, 类别数={len(coco_dict['categories'])}")
# ========== 主程序入口 ==========
if __name__ == '__main__':
# 获取所有XML文件
xml_files = glob.glob(os.path.join(xml_dir, '*.xml'))
if not xml_files:
print(f"在目录 {xml_dir} 中未找到任何XML文件,请检查路径。")
sys.exit(1)
print(f"找到 {len(xml_files)} 个XML文件,开始转换...")
convert_xmls_to_coco(xml_files, output_json_path)
运行成功后,你会得到一个 annotations_train.json 文件。你可以用文本编辑器打开它,粗略看一下结构是否正确,或者用Python简单加载一下,检查 images、annotations、categories 这几个键是否存在且数据量符合预期。
4. 在mmdetection中加载与验证转换后的数据
数据转换好了,接下来就是让mmdetection框架能识别和使用它。mmdetection对COCO格式的支持非常好,我们只需要做两件事:1)准备好数据集目录结构;2)修改配置文件。
4.1 组织你的数据集目录
我建议你按照以下结构来组织,这样最清晰,也最符合mmdetection的惯例:
your_data_root/
├── VisDrone2019/
│ ├── images/
│ │ ├── train/ # 存放训练集图片
│ │ └── val/ # 存放验证集图片
│ └── annotations/
│ ├── instances_train.json # 训练集标注(我们刚生成的)
│ └── instances_val.json # 验证集标注(用同样方法转换验证集得到)
4.2 修改mmdetection的配置文件
假设你用的是 Faster R-CNN 模型,配置文件是 configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py。你需要修改的主要是数据加载部分和模型头部类别数。
首先,找到配置文件里关于数据集的设定部分(通常是一个 dataset_type 和 data 字典)。你需要修改 data 字典中的 train、val、test 字段。这里以修改 train 为例:
# 在配置文件中找到类似下面的部分,并进行修改
data = dict(
samples_per_gpu=2, # 根据你的GPU显存调整
workers_per_gpu=2,
train=dict(
type='CocoDataset', # 指定使用COCO数据集类型
ann_file='your_data_root/VisDrone2019/annotations/instances_train.json', # 你的训练标注路径
img_prefix='your_data_root/VisDrone2019/images/train/', # 你的训练图片路径
# 非常重要!指定你的类别,顺序要和JSON文件里categories的id对应
classes=('pedestrian', 'people', 'bicycle', 'car', 'van',
'truck', 'tricycle', 'awning-tricycle', 'bus', 'motor'),
pipeline=... # 数据增强流程,通常不用动
),
val=dict(
type='CocoDataset',
ann_file='your_data_root/VisDrone2019/annotations/instances_val.json',
img_prefix='your_data_root/VisDrone2019/images/val/',
classes=('pedestrian', 'people', 'bicycle', 'car', 'van',
'truck', 'tricycle', 'awning-tricycle', 'bus', 'motor'),
pipeline=...
),
# test部分类似修改...
)
其次,必须修改模型配置中的类别数量。找到配置文件里定义模型的地方(通常在更早的部分,或者被base文件引用)。你需要修改 num_classes 参数。对于Faster R-CNN,它通常在 roi_head 的 bbox_head 里设置。一个更稳妥的方法是直接修改 model 字典:
# 在配置文件的model部分,确保num_classes是正确的
model = dict(
type='FasterRCNN',
backbone=...,
neck=...,
rpn_head=...,
roi_head=dict(
type='StandardRoIHead',
bbox_roi_extractor=...,
bbox_head=dict(
type='Shared2FCBBoxHead',
# 这里!!!将81(COCO的80类+背景)改成你的类别数+1
# 我们过滤后是10个有效类,所以 num_classes=10+1=11
num_classes=11,
... # 其他参数
),
... # 其他参数
),
... # 其他参数
)
4.3 使用预训练权重并修改分类头
如果你要使用在COCO上预训练的模型权重(这是非常推荐的做法,可以加速收敛),由于COCO有80类,而你的新数据集只有10类,分类层的维度对不上,直接加载会报错。你需要修改权重文件里对应层的参数尺寸。mmdetection提供了一个很方便的工具 tools/misc/initialize_bbox_head.py,但手动修改也很直观。下面是一个手动修改权重的脚本示例:
import torch
# 加载预训练的COCO权重
pretrained_path = 'checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth'
checkpoint = torch.load(pretrained_path, map_location='cpu')
# 定义新的类别数(10个有效类 + 1个背景类)
new_num_classes = 11
# 修改分类层(fc_cls)和回归层(fc_reg)的权重和偏置大小
# 注意:不同模型的层名可能略有不同,可以通过 print(checkpoint['state_dict'].keys()) 查看
state_dict = checkpoint['state_dict']
# 修改分类头权重和偏置
cls_weight_key = 'roi_head.bbox_head.fc_cls.weight'
cls_bias_key = 'roi_head.bbox_head.fc_cls.bias'
if cls_weight_key in state_dict:
old_weight = state_dict[cls_weight_key]
# 分类层输出维度应为 (num_classes + 1, in_features)
# 我们保留预训练权重中关于“通用特征”的部分,随机初始化新增的类特定部分
new_weight = torch.randn(new_num_classes, old_weight.size(1))
new_weight[:old_weight.size(0)] = old_weight # 保留旧权重(背景类+部分旧类特征)
state_dict[cls_weight_key] = new_weight
if cls_bias_key in state_dict:
old_bias = state_dict[cls_bias_key]
new_bias = torch.randn(new_num_classes)
new_bias[:old_bias.size(0)] = old_bias
state_dict[cls_bias_key] = new_bias
# 修改回归头权重和偏置(回归输出是每个类4个坐标,所以是 num_classes * 4)
reg_weight_key = 'roi_head.bbox_head.fc_reg.weight'
reg_bias_key = 'roi_head.bbox_head.fc_reg.bias'
if reg_weight_key in state_dict:
old_weight = state_dict[reg_weight_key]
# 回归层输出维度应为 (num_classes * 4, in_features)
new_weight = torch.randn(new_num_classes * 4, old_weight.size(1))
# 通常我们会用预训练权重中“背景类”对应的回归参数来初始化所有新类的回归参数
# 因为背景类的回归参数可以看作是一个通用的初始状态
new_weight[:old_weight.size(0)] = old_weight
state_dict[reg_weight_key] = new_weight
if reg_bias_key in state_dict:
old_bias = state_dict[reg_bias_key]
new_bias = torch.randn(new_num_classes * 4)
new_bias[:old_bias.size(0)] = old_bias
state_dict[reg_bias_key] = new_bias
# 保存修改后的权重
new_checkpoint_path = 'checkpoints/faster_rcnn_r50_fpn_1x_visdrone.pth'
torch.save(checkpoint, new_checkpoint_path)
print(f"修改后的权重已保存至: {new_checkpoint_path}")
4.4 可视化检查数据集
在开始漫长的训练之前,强烈建议用mmdetection自带的工具可视化一下你的数据,确保标注框和图片是对齐的。
python tools/misc/browse_dataset.py \
your_config_file.py \
--output-dir ./browse_results \
--show
这个命令会随机采样一些图片,并把标注框画上去。你可以在 ./browse_results 文件夹里查看生成的图片,确认行人、车辆等目标的框是否准确无误。这是避免因格式转换错误导致白训练几个小时的关键一步。
5. 开始训练与可能遇到的挑战
配置和验证都无误后,就可以启动训练了。使用mmdetection的标准训练命令:
python tools/train.py your_modified_config.py \
--work-dir ./work_dirs/visdrone_exp \
--cfg-options load_from=checkpoints/faster_rcnn_r50_fpn_1x_visdrone.pth
这里 --cfg-options load_from 指定了我们修改后的预训练权重。训练开始后,关注一下初始的几个迭代的损失值,如果损失值没有异常飙升或为NaN,通常说明数据加载是正常的。
根据我和其他同行的经验,在VisDrone上训练目标检测模型,可能会遇到以下几个挑战,你可以提前有个心理准备:
- 小目标检测困难:无人机高空拍摄,车辆、行人等目标在图像中占比非常小。这对检测器的特征提取和小目标识别能力是巨大考验。你可以尝试在配置中减小
anchor的尺度(anchor_generator中的scales),或者使用专门为小目标设计的模型如FPN、PANet,甚至YOLOF或RetinaNet。 - 类别混淆:最典型的就是
pedestrian(行人)和people(人群)。官方定义中,people指三个或以上聚集的行人。但在实际图像中,这个界限非常模糊,导致这两个类别的平均精度(AP)往往很低。在业务允许的情况下,可以考虑将这两个类别合并。 - 数据不平衡:
car类别的样本数量远远多于tricycle、awning-tricycle等类别。这可能导致模型对少数类别的学习不充分。可以考虑使用ClassBalancedDataset包装器,或者在损失函数中使用Focal Loss来缓解。 - 训练策略调整:由于数据集场景复杂,你可能需要比在COCO上更长的训练周期(
max_epochs)。学习率(lr)和批次大小(samples_per_gpu)也可能需要根据你的GPU情况进一步调整。
我自己的实验记录显示,使用Faster R-CNN R50-FPN在VisDrone-Val上训练10个epoch,mAP大概在20%左右,这确实和COCO上动辄40%+的mAP有差距,但也真实反映了这个数据集的难度。别忘了,评估时也要使用过滤掉 ignored regions 和 others 类别的脚本,这样才能和论文中的基准进行公平比较。
5450



被折叠的 条评论
为什么被折叠?



