目标检测《EfficientDet: Scalable and Efficient Object Detection》

EfficientDet特点：

1. 采用了带权重的双向FPN网络BiFPN进行特征融合，并通过模型学习得到不同特征的权重参数，不同的特征融合方式P3-P7，就得到了不同大小的EfficientDet模型
2. 提出了对于resolution、depth、width进行联合扩展进行模型尺度缩放，提升模型性能

 

 

        上图中，FPN是特征将金字塔网络，PANet是基于FPN的改进，NAS-FPN是使用网络搜索的方式自动确定特征融合的方式（可解释性差），BiFPN是EfficientDet中采用的特征融合方式。

FPN特征融合计算方法如下：

        

 

        其中，Resize可以是反卷积模块进行上采样。

借鉴于FPN和PANet，以及NAS-FPN的融合方式，本文的BiFPN特征融合方法如下：

1. 移除掉PANet中只有一个输入边的节点，也就是上图中PANet上标记removed的节点，这个设计的灵感来自于“只有一个输入就无法进行融合”的直觉。
2. 增加同一层级中原始输入节点到输出节点的直连边，类似于Resnet中的short cut。也就是上图中BiFPN上P4、P5、P6层的直连线条。
3. 不同于PANet模块只有一个由上至下，以及一个由下至上的路径，本文将BiFPN作为一个小的特征融合网络，并横向堆叠使用多次。

EfficientDet网络模型结构图：

 

带权重特征融合：

本文作者设计了三种带权重特征融合方法：

1. 权重为一个标量，对特征整体进行加权融合
2. 权重为一个向量，对特征的每个channel进行加权融合
3. 权重为一个多维向量，对特征的每个pixel进行加权融合

对于上述三种特征融合方法，作者实验了几种融合的实现方式：

方式一：

         ​​可以是学习到任何参数，参数范围没有限制导致训练过程不稳定。

方式二：

        对学习到的参数进行softmax归一化，但是引入softmax会使训练过程变慢。

方式三：

        先对学习到的进行Relu变化使得参数大于等于0，然后进行求和归一化到[0,1]之间。

备注：以上权重归一化方式都是以BiFPN网络的节点为单位的，是在各个节点的特征融合中进行权重归一化。

        

 

 

        上述公式是P6层两个节点的加权特征融合。

EfficientDet中resolution、width、depth混合缩放，得到不同大小的网络模型：

BackBone缩放采用与EfficientDet同样的方式：

 

 BiFPN的width和depth缩放：

 输出层预测网络的缩放：

        Width缩放：

         Depth缩放：

 输入图像分辨率缩放：

       

 对不不同的缩放系数，得到不同的网络模型大小D0-D7。