制作VOC2007格式数据集并训练YOLOv3权重文件

１ 下载darknet并编译测试

(1) 下载darknet源码并编译

git clone https://github.com/pjreddie/darknet
cd darknet

如果使用CPU，直接

make

如果使用GPU，需要先修改Makefile文件，修改部分如下

GPU=1
CUDNN=1
...
NVCC=/usr/local/cuda/bin/nvcc

然后

make

(2) 运行demo进行测试
先下载权重文件

wget https://pjreddie.com/media/files/yolov3.weights

若下载太慢，可移步百度网盘，链接: https://pan.baidu.com/s/1hQqFMvGxs2lTJZBrf9E6XQ 提取码: dbup
然后运行demo

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

2 制作VOC2007格式数据集

首先，按照VOC2007数据集格式创建相应文件夹，例如：

/home/xxx/darknet/VOCdevkit/VOC2007/

并在VOC2007目录下创建以下４个目录：Annotations、ImageSets、JPEGImages、labels
然后在Annotations目录下创建Main目录
创建好上述目录结构后，将自己准备的数据集图片(分辨率为416*416)拷贝到JPEGImages目录下，并最好按照VOC2007数据集格式命名，例如：000001.jpg
此处附一段文件重命名批处理python代码：

# -*- coding:utf8 -*-

import os

class BatchRename():
    '''
    批量重命名文件夹中的图片文件

    '''
    def __init__(self):
        self.path = '/home/xxx/darknet/VOCdevkit/VOC2007/JPEGImages'  #表示需要命名处理的文件夹

    def rename(self):
        filelist = os.listdir(self.path) #获取文件路径
        total_num = len(filelist) #获取文件长度（个数）
        i = 1  #表示文件的命名是从1开始的
        for item in filelist:
            if item.endswith('.png'):  #初始的图片的格式为jpg格式的（或者源文件是png格式及其他格式，后面的转换格式就可以调整为自己需要的格式即可）
                src = os.path.join(os.path.abspath(self.path), item)
                #dst = os.path.join(os.path.abspath(self.path), ''+str(i) + '.jpg')#处理后的格式也为jpg格式的，当然这里可以改成png格式
                dst = os.path.join(os.path.abspath(self.path), '000' + format(str(i), '0>3s') + '.jpg')    #这种情况下的命名格式为000000.jpg形式，可以自主定义想要的格式
                try:
                    os.rename(src, dst)
                    print ('converting %s to %s ...' % (src, dst))
                    i = i + 1
                except:
                    continue
        print ('total %d to rename & converted %d jpgs' % (total_num, i))

if __name__ == '__main__':
    demo = BatchRename()
    demo.rename()

 样本图片准备好之后，利用labelImg对样本图片进行标注。下载 labelImg 并运行

git clone https://github.com/tzutalin/labelImg.git
cd labelImg
sudo apt-get install pyqt5-dev-tools
sudo pip3 install lxml
make qt5py3
python3 labImage.py

 具体操作请参考github地址：https://github.com/tzutalin/labelImg　
注意　打好标签后保存.xml文件到Annotations目录
所有样本图像打完标签后，生成样本集、测试集等：
在VOC2007目录下创建python脚本文件gen.py

import os  
import random  

trainval_percent = 0.5  
train_percent = 0.5  
xmlfilepath = 'Annotations'  
txtsavepath = 'ImageSets/Main'  
total_xml = os.listdir(xmlfilepath)  

num=len(total_xml)  
list=range(num)  
tv=int(num*trainval_percent)  
tr=int(tv*train_percent)  
trainval= random.sample(list,tv)  
train=random.sample(trainval,tr)  

ftrainval = open(txtsavepath+'/trainval.txt', 'w')  
ftest = open(txtsavepath+'/test.txt', 'w')  
ftrain = open(txtsavepath+'/train.txt', 'w')  
fval = open(txtsavepath+'/val.txt', 'w')  

for i  in list:  
    name=total_xml[i][:-4]+'\n'  
    if i in trainval:  
        ftrainval.write(name)  
        if i in train:  
            ftrain.write(name)  
        else:  
            fval.write(name)  
    else:  
        ftest.write(name)  

ftrainval.close()  
ftrain.close()  
fval.close()  
ftest .close()

运行该脚本

python3 gen.py

会在ImageSets/Main目录下生成以下文件：test.txt、train.txt、trainval.txt、val.txt

下载格式转换文件，生成YOLO要用的VOC标签格式：

cd darknet
wget https://pjreddie.com/media/files/voc_label.py
gedit voc_label.py

修改voc_label.py文件

# 修改年份
sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
# 修改检测的物体种类为自己需要检测的类别
classes = ["flotage"]

运行voc_label.py完成转换

python3 voc_label.py

运行后会在darknet目录下生成2007_test.txt、2007_train.txt、2007_val.txt三个文件，此处将train和val的数据一起用来训练，因此将其合并为train.txt。

cat 2007_train.txt 2007_val.txt > train.txt

 3 制作修改相应文件等

(1) 修改.names文件
进入darknet/data目录，复制该目录下的voc.names文件，命名为xxx.names，并将其中的内容修改为自己要检测的目标类别名
(2) 修改.data文件
进入darknet/cfg目录，复制该目录下的voc.data文件，命名为xxx.data，并进行如下修改：

classes= 1  # 自己数据集的类别数
train  = /home/xxx/darknet/train.txt  # train文件的路径
valid  = /home/xxx/darknet/2007_test.txt   # test文件的路径
names = data/xxx.names
backup = backup

注意　要看darknet目录下是否有backup目录，若没有，需要新建该目录
(3) 修改.cfg文件
进入darknet/cfg目录，复制该目录下的yolo3-voc.cfg文件，命名为xxx.cfg，并进行如下修改(标#注释处为修改的地方)：

 注释掉文件开头的Testing,取消对Training的注释，如下所示

[net]
# Testing
# batch=1           #
# subdivisions=1    #
# Training
 batch=64           #
 subdivisions=16    #

 

[convolutional]
size=1
stride=1
pad=1
filters=18   #3*(classes+1+4)
activation=linear

[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=1     #classes
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1    #1，如果显存很小，将random设置为0，关闭多尺度训练

注意　该修改有３处，即[yolo]层中的classes和其上一个[convolutional]卷积层的filters

 

4 下载预训练权重文件

cd darknet
wget https://pjreddie.com/media/files/darknet53.conv.74

5 进行训练

历经千辛万苦，终于可以开始训练自己的数据集啦！

./darknet detector train cfg/xxx.data cfg/xxx.cfg darknet53.conv.74

耐心等待，生成的权重文件存储在backup目录下

参考文献
https://blog.youkuaiyun.com/helloworld1213800/article/details/79749359