【图像分类】基于Pascal VOC2012增强数据的多标签图像分类实战

接着上一次的多标签分类综述，本文主要以Pascal VOC2012增强数据集进行多标签图像分类训练，详细介绍增强数据集制作、训练以及指标计算过程，并通过代码进行详细阐述，希望能为大家提供一定的帮助！

作者&编辑 | 郭冰洋

上一期多标签图像分类文章，也是本文的基础，点击可以阅读：【技术综述】多标签图像分类综述

1 简介

基于image-level的弱监督图像语义分割大多数以传统分类网络作为基础，从分类网络中提取物体的位置信息，作为初始标注。

Pascal VOC2012的原始分割数据集仅包含1464个train图片和1449张val图片（共2913张），对于分类网络来说其数据量过小。而benchmark_RELEASE分割数据集包括8498张train图片和2857张val图片（共11355张）。因此，许多论文中均选择使用二者融合后的增强数据集。

近期在复现论文过程中发现，使用增强数据集进行多标签分类时，某些图片缺少对应的标记，需要对照原始Pascal VOC2012数据集的标注方法，重新获取各类物体的标注信息，并完成多标签分类任务以及相应的指标评价。现将相关细节和部分代码进行解读，以帮助大家理解多标签分类的流程和相关注意事项。

2 Pascal VOC2012数据集介绍

Pascal VOC2012数据集包括五个文件夹：

1、Annotation：存放xml格式的标注信息

2、JPEGImages：存放所有图片，包括训练图片和测试图片

3、SegmentationClass：语义分割任务中用到的label图片

4、SegmentationObject：实例分割任务用到的label图片

5、ImageSets：存放每一种任务对应的数据，其又划分为四个文件夹

(1) Action：存放人体动作的txt文件

(2) Layout：存放人体部位的txt文件

(3) Main：存放类别信息的txt文件

(4) Segmentation：存放分割训练的txt文件

本次实战是关于图片多标签分类任务的介绍，因此主要关注的为Annotation文件夹和ImageSets下的Main文件夹。

Main文件夹中包含了20类物体的训练、验证标签文件，其命名格式为class_train.txt、class_trainval.txt或class_val.txt。其中，每个txt文件中均包含对应的标记信息，若图中存在对应标签，则为1，反之则为-1

3 benchmark_RELEAS数据集介绍

benchmark_RELEASE数据集包括两个文件夹：

1、benchmark_code_RELEASE：相关评价指标的matlab文件

2、dataset：包括cls、img、inst三个文件夹和train.txt、val.txt两个文件

(1) cls：语义分割的mat标注文件

(2) img：分割图像

(3) inst：实例分割的mat标注文件

mat格式为matlab文件的一种，其中文件中主要包含了物体的类别、边界、分割标注三类信息。

4 增强数据集介绍

所谓增强数据集，共包含两个步骤：

1、将上述两个数据集中的语义分割训练数据进行融合并剔除重复部分。即将"/benchmark_RELEASE/dataset/"路径下的train和val文件与"/ImageSets/Segmentation/"路径下的train和val文件进行融合，获取最终的train.txt和val.txt文件，共12031个数据（8829+3202）。代码及注释如下(为了清晰展示步骤，将函数拆分，直接进行了书写)：

import os

from os.path import join as pjoin

import collectionsimport numpy as np

# PascalVOC2012路径

voc_path = '/VOC/VOCdevkit/VOC2012/'

# benchmark_RELEASE路径

sbd_path = '/VOC/benchmark_RELEASE/'

# 构建内置字典，用于存放train、val、trainval数据

files = collections.defaultdict(list)

# 填充files

for split in ["train", "val", "trainval"]:    

# 获取原始txt文件    

      path = pjoin(voc_path, 

      "ImageSets/Segmentation", split + ".txt") 

    # 以元组形式打开文件     

      file_list = tuple(open(path, "r"))    

    # rstrip清除换行符号/n，并构成列表    

      file_list = [id_.rstrip() for id_ in file_list]    

    # 不同阶段对应不同列表    

      files[split] = file_list

# benchmark_RELEASE的train文件获取

path = pjoin(sbd_path, "dataset/train.txt")

sbd_train_list = tuple(open(path, "r"))

sbd_train_list = [id_.rstrip() for id_ in sbd_train_list]

# benchmark_RELEASE与Pascal VOC2012训练数据融合

train_aug = files["train"] + sbd_train_list

# 清除重复数据

train_aug = [train_aug[i] 

for i in sorted(np.unique(train_aug,

return_index=True)[1])]

# 获取最终train数据files["train_aug"] = train_aug

# benchmark_RELEASE的val文件获取

path = pjoin(sbd_path, "dataset/val.txt")

sbd_val_list = tuple(open(path, "r"))

sbd_val_list = [id_.rstrip() for id_ in sbd_val_list]

# benchmark_RELEASE与Pascal VOC2012训练数据融合

val_aug = files["val"] + sbd_val_list

# 清除重复数据

val_aug = [val_aug[i] 

for i in sorted(np.unique(val_aug, return_index=True)[1])]

# 清除val中与train数据重复的内容

set_diff = set(val_aug) - set(train_aug)

files["train_aug_val"] = list(set_diff)

2、将"/benchmark_RELEASE/dataset/cls"下mat格式的语义标签解析成图片，并与SegmentationClass文件夹下的图片进行融合。此部分代码可参考下述网址中的setup_annotation模块。

https://github.com/meetshah1995/pytorchsemseg/blob/master/ptsemseg/loader/pascal_voc_loader.py

至此，增强数据集的train.txt、val.txt以及分割标注图片均已获得，可以愉快地用更大容量的数据集进行训练啦！

5 标签文件制作

前一小节主要介绍了Pascal VOC2012数据集的文件夹构成，在ImageSets/Main文件夹下包含了20类物体的标注文档，包括train、val和trainval三种划分。我们打开aeroplane_train.txt文档可以看到，共有5717个训练数据，每个图像名称后面均对应了1或者-1，其中1表示图片中存在该类别的物体，-1则表示图片中不存在该类别的物体。增强数据集的train.txt和val.txt文件并没有各类别的标注信息，因此，我们需要仿照原有的格式，构建每个类别的标注文档。

Annotation文件夹下包含了所有图片标注信息的xml格式文件，其中<name>子项目下代表途中的类别信息。打开其中的一个xml文件我们可以看到，一个图中包含了多个类别信息，其中还有重复项，即图中存在相同类别的物体。我的思路是遍历train.txt和val.txt文档中每个图片对应的xml文件，获取其中的类别信息，然后判定类别信息是否包含当前类别，若包含则赋值1，反之赋值-1。对20个类别进行循环后，即可获得相应的标注文档。

接下来我将以训练标注文档的制作为展示，拆分步骤并结合代码进行详细的描述。

步骤1：读取train.txt文件获取训练图片

# 获取训练txt文件

def _GetImageSet():    

        # txt路径   

        image_set_path = '/train.txt'    

        with open(image_set_path, 'r') as f:        

            return [line.split()[0] for line in f.readlines()]

# 训练图片合集

img_set = _GetImageSet()

步骤2：读取对应的xml文件

# xml标注文件路径 

annotation='/VOC/VOCdevkit/VOC2012/Annotations' 

# 构建xml列表 

xml = [] 

for img in img_set:    

        xml_path = os.path.join(annotation,img + '.xml')   

        xml.append(xml_path)

步骤3：根据xml中的<name>项，判定图片中是否存在该类别。读取<name>项之后，一定通过set()函数，清除其中的重复类别名称，否则会出现标签重复的情况

# 类别 

VOC_CLASSES = ['aeroplane', 'bicycle', 'bird', 'boat','bottle', 'bus', 'car', 'cat', 'chair', 'cow', 'diningtable', 'dog', 'horse','motorbike', 'person', 'pottedplant', 'sheep', 'sofa', 'train', 'tvmonitor'] 

for x in xml:    

    # 获取每个name的地址     

    elem_list = minidom.parse(x).

                      getElementsByTagName('name')

    name = []    

    # 读取每个地址的内容    

     for elem in elem_list:         

                cat_name = elem.firstChild.data         

                # 获取name         

                name.append(cat_name)    

        # 删除重复标记    

        name = list(set(name))    

        # 根据类别写入标签文件    

        for cls in VOC_CLASSES:        

                txt = '/gt/%s_train.txt' % cls        

                if cls in name:            

                        file_write_obj = open(txt, 'a')            

                        gt = x[-15:-4] + ' ' +' '+ '1'            

                        file_write_obj.writelines(gt)            

                        file_write_obj.write('\n')        

                else:            

                        file_write_obj = open(txt, 'a')            

                        gt = x[-15:-4] + ' '  + '-1'            

                        file_write_obj.writelines(gt)           

                        file_write_obj.write('\n')

通过以上三个步骤，就可以生成train.txt在20个类别下的标注文档。标签文件的制作是为了后续计算相应的评价指标，以更好的评价分类网络的性能。

6 增强数据集多标签文件制作

根据标签文件的制作，我们已经获取图片在每个类别下对应标签，如何将其转化成对应的矩阵形式，是我们的下一步工作。

在多标签分类任务中，我们可以构建一个1x20的矩阵作为图片的标签，其中对应的类别若存在，则置1，反之则置0。例如，如果图片中含有aeroplane和bicycle两个类别，其对应的标签矩阵应该为[1,1,......,0,0]。同样的，我们仍然可以根据xml文件信息，进行矩阵的搭建。

在本节中，我仍将通过步骤拆分，结合代码展示这一过程。

准备工作：设置文件夹名称，类别信息名称及其对应的数字

# 图片文件夹 

IMG_FOLDER_NAME = "JPEGImages" 

# 标签文件夹 

ANNOT_FOLDER_NAME = "Annotations" 

# 标签名称(不含背景) 

CAT_LIST = ['aeroplane', 'bicycle', 'bird', 'boat','bottle', 'bus', 'car', 'cat', 'chair', 'cow', 'diningtable', 'dog', 'horse','motorbike', 'person', 'pottedplant', 'sheep', 'sofa', 'train', 'tvmonitor'] 

# 标签转换为数字 

CAT_NAME_TO_NUM = /

    dict(zip(CAT_LIST,range(len(CAT_LIST))))

步骤1：构建单张图片对应的标签矩阵

# 从xml文件中读取图片标签 

def load_image_label_from_xml(img, voc12_root):    

        # 获取xml中的name项      

        el_list=minidom.parse(os.path.join(voc12_root,

        ANNOT_FOLDER_NAME,img + '.xml'))

        .getElementsByTagName('name')    

        # 构建标签空矩阵    

        multi_cls_lab = np.zeros((20), np.float32)   

        # 对xml中的name项进行操作    

        for el in el_list:        

                # 读取name        

                cat_name = el.firstChild.data        

                if cat_name in CAT_LIST:           

                # 转换为数字标签            

                    cat_num =/

                        CAT_NAME_TO_NUM[cat_name]            

                        # 将标签矩阵中对应的位置赋1            

                    multi_cls_lab[cat_num] = 1.0    

        # 返回标签矩阵    

        return multi_cls_lab

步骤2：遍历所有的图片，生成对应的标签矩阵

# 从.txt文件中载入所有xml文件对应的标签 

def load_image_label_list_from_xml(img_name_list, voc12_root):    

        # 返回所有标签矩阵    

       return [load_image_label_from_xml(img_name, voc12_root) for img_name in img_name_list]

步骤3：生成含有所有标签矩阵的npy文件

# 加载图片list 

def load_img_name_list(dataset_path):    

        # 获取.txt文件中的图片(含png和jpg,以及路径文件)  

        img_gt_name_list = /

            open(dataset_path).read().splitlines()    

        # 读取图片名字    

        img_name_list = /

        [img_gt_name.split(' ')[0][-15:-4] 

        for img_gt_name in img_gt_name_list]     

        # 返回值   

        return img_name_list 

# 获取训练图片列表 

img_name_list = load_img_name_list(args.train_list) 

# 获取标签列表 

label_list=load_image_label_list_from_xml(img_name_list,args.voc12_root) 

# 通过字典保存图片及其对应的标签 

d = dict() 

for img, lbl in zip(img_name_list, label_list):    

    d[img_name] = label 

# 保存文件 

np.save(args.out, d)

至此，所有的标签矩阵便构建完成了。

7 评价指标计算

多标签图像分类网络的性能需要根据平均准确率精度（mAP）来进行分析，而平均精度准确率均值需要先对每个类别的平均准确率进行计算。

results = 

{‘aeroplane’：{‘2007_000032’:[0.7,0.8,......0.9],

                        ......

                        '2011_003276':[1.2,0.8,......0.3]}

    ......

  'tvmonitor'：{‘2007_000032’:[0.1,-0.8,......0.2],

                        ......

                        '2011_003276':[1.1,0.4,......0.8]}}

随后我们载入每个图像对应的类别标签，具体形式如下：

ground_truth = 

{‘aeroplane’：{‘2007_000032’:[0,1,......0],

                        ......

                        '2011_003276':[1,0,......1]}

    ......

  'tvmonitor'：{‘2007_000032’:[1,0,......0],

                        ......

                        '2011_003276':[1,0,......1]}}

通过上述两个集合，我们可以分别计算每个类别的平均准确率，计算平均准确率的方法Pascal VOC官方已经给出，可以参照具体标准进行计算。具体代码如下：

# 每个类别的计算

def EvaluateClass(self, cls, cls_results):

计算出每个类别的平均准确率后，则对所有类别的平均准确率求均值即可求得mAP值，在python代码中可以直接使用mean函数实现。

8 训练细节

在进行训练前需要注意一点，数据读取时我们需要同时获取图片名字、图片、标签三个信息，也是为了后续的评价指标计算做基础，这一点与传统单标签分类只读取图片和标签的方法不同，需要格外注意。读取数据集的代码在此不再拆分详细解释。

本文以Pytorch框架进行编写，进行了两种策略的训练方式。

1、选择ModelA1作为训练网络（即resnet38），并使用对应的预训练数据，同时将全连接层转换为卷积层，学习率设置为0.01，batch_size为4，损失函数选用hanming loss，采用SGD优化，在AMD 2600X + GTX 1070Ti搭建的平台，训练了约30个小时。

2、选择Resnet50作为训练网络，同时将全连接层转换为卷积层，学习率设置为0.01，batch_size为16，损失函数选用hanming loss，采用SGD优化，在AMD 2600X + GTX 1070Ti搭建的平台，训练了约2个小时。

9 结果分析

通过训练我们发现，ModelA1取得的最优准确率为91.8%，Resnet50取得的最优准确率为90.3%，故此次结果分析暂时以ModelA1为准。

1、平均准确率均值（mAP）

2、各类别平均准确率曲线

3、每个类别的最高准确率

总结

以上就是整个多标签图像分类实战的过程，由于时间限制，本次实战并没有进行详细的调参工作，因此准确率还有一定的提升空间。

有三AI夏季划

有三AI夏季划进行中，欢迎了解并加入，系统性成长为中级CV算法工程师。

转载文章请后台联系

侵权必究

往期精选

• 【技术综述】多标签图像分类综述

• 【技术综述】你真的了解图像分类吗？

• 【AI-1000问】为什么深度学习图像分类的输入多是224*224