基于深度学习的车辆检测方法研究与实现

收藏和点赞，您的关注是我创作的动力

概要

  车辆检测是目标检测的子类，其要做的是在给定图像中找出所有车辆并给出它们的边界框，是智能交通系统与车辆驾驶技术中最基础也是最重要的部分。从安全性与实用性的角度来讲，车辆检测器需要具有非常高的检测准确度并能完成实时处理。
  本文首先介绍了深度学习与卷积神经网络的基本概念，之后在此基础上详细叙述了Faster R-CNN与YOLO两种典型目标检测框架的流程，最后分别用这两种框架实现了车辆检测。实验使用的车辆数据集从PASCAL VOC数据集中提取，车辆数据集中包含了自行车、公交车、小汽车、摩托车与火车这5类车辆目标。基于深度学习编程框架Caffe的定制版本，实验实现了Faster R-CNN与YOLO两种目标检测算法并完成了车辆检测。实验使用梯度下降法训练卷积神经网络，使用同一测试集进行测试。
  在测试集上，基于Faster R-CNN实现的车辆检测算法mAP为83.68%，检测速度为9.7FPS，基于YOLO实现的车辆检测算法mAP为70.3%，检测速度为80.7FPS。根据实验结果，基于Faster R-CNN实现的车辆检测算法检测准确率较高，但检测速度相对较慢，基于YOLO实现的车辆检测算法已经达到了实时处理的标准，但对小而密的小汽车目标检测效果较差。

关键词：深度学习；卷积神经网络；车辆检测；Caffe

一、研究背景与意义

  车辆检测作为目标检测任务的子类，其进展与目标检测的进展息息相关。目标检测方法按是否使用人为设计的特征可以分为两类：传统方法与基于深度学习的方法。
  传统的目标检测算法主要研究的是特征的提取与分类，Viola和Jones使用Haar特征与Adaboost算法实现了实时的人脸检测[1]，法国研究人员Dalal发现HOG特征与SVM分类器特别适用于行人检测[2]。这些传统方法大致遵循以下流程：使用滑动窗口的方法获取目标候选窗，然后在每一个候选窗上提取Haar、HOG等人为设计的特征，之后将所提取的特征输入到SVM等分类器中判断该候选窗是否为检测目标。传统的目标检测方法的准确度并不能满足实际使用的需求，主要是因为使用的特征为人工设计的特征，这些特征对目标的表征能力不强，是低等级的特征。此外，传统的目标检测方法需要对不同的任务设计不同的特征，同一特征对不同目标的表征效果相差较大。
  表示学习可以让机器自动地发掘原始数据中的特征，而深度学习作为一种表示学习则可以通过组合简单的低等级特征表达复杂的抽象特征，与传统手工设计的特征相比，深度学习学习到的特征具有更强的表征能力。因此，自2006年Hinton提出深度学习的概念后，随着图形处理单元的使用以及大型图像数据库的出现，深度学习被广泛应用到图像处理、语音识别、自然语言处理等诸多领域，且均取得了令人瞩目的效果。
  卷积神经网络是专门为图像处理设计出来的一种深度神经网络，在基于深度学习的目标检测方法中被广泛使用。基于深度学习的目标检测方法又可以分成基于区域提议的方法与基于回归的方法。
  基于区域提议的深度学习目标检测方法主要由R-CNN系列框架组成。在2013年，Ross Girshick提出了R-CNN框架[5]，R-CNN框架使用选择性搜索方法获取目标候选窗，再将用卷积神经网络提取的特征送入SVM中进行分类。R-CNN首次将卷积神经网络用于目标检测，极大的提高了目标检测的精确度。在2014年ImageNet大赛目标检测任务上，何凯明、任少卿团队提出的SPP-Net[6]取得了第二名的成绩，SPP-Net使用金字塔池化层解除了卷积神经网络需要固定输入尺寸的限制，此外，SPP-Net还将选择性搜索方法获得的候选窗映射到特征图上，这样只需提取一次卷积层特征，大大减少了特征提取的时间。2015年，Ross Girshick引入了SPP-Net的工作，提出了基于RoI池化层的Fast R-CNN框架[7]，Fast R-CNN的亮点在于使用了多任务的损失函数，将边界回归输出并联到卷积神经网络的分类输出上，这进一步提高了目标检测的平均准确度。同一年，任少卿、何凯明与Ross Girshick合作提出了Faster R-CNN框架[8]，这个框架使用区域提议网络代替选择性搜索算法获取目标候选窗，这不仅提高了生成目标候选区的质量，还减少了候选窗生成的时间，加速了目标检测的速度。
  相比于基于区域提议的方法，基于回归的深度学习目标检测方法省去了候选窗提取的步骤，直接在整张图片的多个位置上进行边界回归与目标分类。在2016年IEEE国际计算机视觉与模式识别会议（CVPR）上，Joseph Redmon等人提出了名为YOLO[12]的目标检测算法，YOLO将图像分成的网格，在每个网格单元上预测目标的边界框以及目标的置信得分。同年，在欧洲计算机视觉国际会议（ECCV）上，Wei Liu等人提出了SSD目标检测算法[13]，SSD在来自不同卷积层的多个特征图上进行预测，可以在低分辨率的图像上取得较好的正确率。由于不需要进行区域提议，基于回归的方法的速度远远快于使用区域提议的方法，但这些方法的检测准确度要低于基于区域提议的方法。

二、基于Caffe框架的车辆检测算法

  基于深度学习的目标检测算法中大量使用了卷积神经网络，而车辆检测算法可以通过修改目标检测算法实现。本章首先介绍了目标检测中的基本概念，包括评估目标检测器性能的指标，之后介绍了一种深度学习编程框架Caffe，最后介绍了YOLO与Faster R-CNN两种目标检测方法的基本原理并在车辆检测应用下对其作了修改。

3