1. 多数据集整合的必要性与挑战
做计算机视觉的朋友应该都遇到过这样的场景:好不容易找到一个数据集,却发现标注格式不兼容;或是需要同时检测人脸和行人,但现有数据集只标注了其中一类。这时候就需要把多个数据集整合起来使用。我去年做安防监控项目时就遇到过这个问题,当时需要同时检测人脸和行人,但VOC、COCO、MPII这三个主流数据集都只标注了人体框,最后不得不自己动手整合。
VOC、COCO、MPII这三个数据集各有特点:VOC数据质量高但规模小,COCO场景丰富但标注密集,MPII专注人体姿态但需要额外处理。把它们整合起来能优势互补,但实际操作时会遇到三个主要问题:
- 标注标准不统一:VOC用XML格式,COCO用JSON,MPII则是Matlab文件
- 类别定义不一致:VOC的"person"和COCO的"person"可能对应不同尺寸范围
- 图像特性差异:VOC多是摆拍图像,COCO偏自然场景,MPII主要来自视频帧
提示:在开始整合前,建议先用Python的PIL库检查所有图像的色彩空间和分辨率,避免后续处理时出现意外错误。
2. VOC数据集处理实战
VOC作为最经典的数据集,处理起来相对简单。我通常用以下步骤提取人体数据:
import xml.etree.ElementTree as ET
def parse_voc_annotation(xml_path):
tree = ET.parse(xml_path)
objects = []
for obj in tree.findall('object'):
if obj.find('name').text == 'person':
bbox = obj.find('bndbox')
objects.append([
int(bbox.find('xmin').text),
int(bbox.find('ymin').text),
int(bbox.find('xmax').text),
int(bbox.find('ymax').text)
])
return objects
但要注意几个坑:
- VOC2012的某些图像标注存在坐标越界问题
- 部分图像的物体被标记为difficult=True
- 有些person标注实际上是不可见的人体部位
我建议先用OpenCV过滤掉面积小于32x32像素的标注框,这些通常无法用于实际训练。
3. COCO数据集转换技巧
COCO的标注信息都保存在一个巨大的JSON文件中,处理时需要特别注意内存管理。这是我的处理方案:
import json
from tqdm import tqdm
def extract_coco_person(json_path, output_dir):
with open(json_path) as f:
data = json.load(f)
# 建立图像ID到文件名的映射
id_to_file = {img['id']: img['file_name'] for img in data['images']}
# 提取所有人体的标注
person_annos = [a for a in data['annotations'] if a['category_id'] == 1]
# 按图像分组
from collections import defaultdict
img_to_annos = defaultdict(list)
for anno in person_annos:
img_to_annos[id_to_file[anno['image_id']]].append(anno['bbox'])
COCO的bbox格式是[x,y,width,height],需要转换为VOC的[xmin,ymin,xmax,ymax]格式。另外要注意:
- COCO的坐标是浮点数,需要四舍五入
- 部分标注框可能超出图像边界
- crowd区域需要特殊处理
4. MPII数据集的特殊处理
MPII主要标注了人体关键点,我们需要从中提取人体框。这里有个小技巧:用所有关键点的最小外接矩形作为人体框:
import h5py
import numpy as np
def mpii_to_bbox(h5_path):
with h5py.File(h5_path, 'r') as f:
bboxes = []
for i in range(len(f['annolist'])):
keypoints = f['annolist'][i]['annorect']['annopoints'][0]['point'][:]
x_coords = keypoints['x'][:]
y_coords = keypoints['y'][:]
bboxes.append([
np.min(x_coords),
np.min(y_coords),
np.max(x_coords),
np.max(y_coords)
])
return bboxes
处理MPII时要注意:
- 约5%的关键点标注质量较差
- 视频帧之间存在重复图像
- 部分遮挡严重的人体需要手动过滤
5. 人脸标注的补充方案
原始数据集缺少人脸标注,我推荐三种补充方案:
- 使用预训练模型自动标注:用MTCNN或RetinaFace跑一遍图像
- 半自动标注工具:LabelImg+CVAT组合使用
- 众包平台:适合预算充足的项目
这是我用MTCNN批量标注的代码片段:
from mtcnn import MTCNN
import cv2
detector = MTCNN()
def detect_faces(img_path):
img = cv2.cvtColor(cv2.imread(img_path), cv2.COLOR_BGR2RGB)
results = detector.detect_faces(img)
return [result['box'] for result in results]
注意调整置信度阈值,建议设置在0.9以上以保证质量。
6. 格式统一与数据增强
将不同数据集转换为统一格式后,建议做以下增强:
- 尺寸归一化:将所有图像resize到640x640
- 色彩校正:用CLAHE算法统一对比度
- 数据平衡:对少样本场景做过采样
这是我常用的增强管道:
import albumentations as A
transform = A.Compose([
A.Resize(640, 640),
A.CLAHE(p=0.5),
A.RandomBrightnessContrast(p=0.2),
A.HorizontalFlip(p=0.5),
], bbox_params=A.BboxParams(format='pascal_voc'))
7. 实战建议与避坑指南
根据我的项目经验,有几个关键点需要注意:
- 存储优化:将小文件打包成TFRecord或LMDB格式
- 版本控制:用DVC管理数据集版本
- 质量检查:开发自动化检查脚本
这里分享一个我常用的检查脚本:
def validate_annotation(img_path, boxes):
img = cv2.imread(img_path)
h, w = img.shape[:2]
for box in boxes:
x1, y1, x2, y2 = box
assert 0 <= x1 < x2 <= w, f"Invalid x coordinates: {box}"
assert 0 <= y1 < y2 <= h, f"Invalid y coordinates: {box}"
area = (x2 - x1) * (y2 - y1)
assert area > 100, f"Too small box: {box}"
最后提醒,数据集整合是个迭代过程,建议每增加5000张样本就做一次验证集测试,确保数据质量稳定。
447



被折叠的 条评论
为什么被折叠?



