YOLOv4 介绍及其模型优化方法

1、YOLOv4 介绍

2020 年 4 月，YOLOv4 在悄无声息中重磅发布，在目标检测领域引起广泛的讨论。在 YOLO 系列的原作者 Joseph Redmon 宣布退出 CV 领域后，表明官方不再更新 YOLOv3。但在过去的两年中，AlexeyAB 继承了 YOLO 系列的思想和理念，在 YOLOv3 的基础上不断进行改进和开发，于今年 4 月发布 YOLOv4，并得到了原作者 Joseph Redmon 的承认。YOLOv4 可以使用传统的 GPU 进行训练和测试，并能够获得实时的，高精度的检测结果。与其他最先进的目标检测器的比较的结果如图1.1所示，YOLOv4 在与 EfficientDet 性能相当的情况下，推理速度比其快两倍。相比 YOLOv3 的 AP 和 FPS 分别提高了 10% 和 12%。

图1.1 检测结果对比

YOLOv4 贡献可总结如下：

• 提出了一种实时、高精度的目标检测模型。它可以使用1080 Ti或2080 Ti 等通用GPU来训练快速和准确的目标检测器；
• 在检测器训练阶段，验证了一些最先进的 Bag-of-Freebies 和 Bag-of-Specials 方法的效果；
• 对SOTA方法进行改进，使其效率更高，更适合单GPU训练，包括 CBN，PAN 和 SAM等。

论文地址：YOLOv4: Optimal Speed and Accuracy of Object Detection，https://arxiv.org/abs/2004.10934

代码链接：https://github.com/AlexeyAB/darknet#yolo-v4-in-other-frameworks

1.1. 目标检测相关方法总结

一般目标检测器网络结构由以下四个部分构成，如图 1.2 所示。

图1.2 目标检测

1.1.1 Bag of freebies

可以在训练过程中进行改进（例如数据增强，类别不平衡，损失函数，软标签等）以提高检测的准确性。我们把这些只改变训练策略或只增加训练成本而对推理速度没有影响的方法称为"Bag of freebies (BoF)"。BoF 方法总结如图 1.3 所示。

图1.3 Bag of freebies 

1.1.2. Bag of specials

对于那些仅增加少量推理时间但可以显着提高目标检测精度的插件模块和后处理方法，将其称为“Bag of specials (BoS)”。这些方法主要用于增强模型中的某些属性，例如扩大感受野，引入注意力机制或增强特征集成能力等，而后处理方法则是筛选模型预测结果。BoS 方法总结如下图1.4所示。

图1.4 Bag of specials 

1.2. YOLOv4 模型结构及其使用的方法

YOLOv4 所采用的网络结构，Bag 方法总结如下图1.5所示。

图1.5 YOLOv4

1.2.1 网络结构

YOLOv4 模型结构如图 1.6 所示。图片引用来自https://blog.youkuaiyun.com/nan355655600/article/details/107852288

图1.6 YOLOv4模型结构 

CSPDarknet53

CSPNet (Cross Stage Paritial Network) 主要从网络结构设计的角度解决推理中计算量大