论文模型复现

注：下有视频讲解，可供参考

引入

       在目标检测中，DenseNet表现良好，通过聚合不同感受野特征层的方式，保留了中间特征层的信息。它通过feature reuse 使得模型的大小和flops大大降低，但是，实验证明，DenseNet backbone更加耗时也增加了能耗：dense connection架构使得输入channel线性递增，导致了更多的内存访问消耗，进而导致更多的计算消耗和能耗。因此文章介绍了一种由OSA（one-shot-aggregation）模块组成的叫做VoVNet的高效体系结构。该网络在继承DenseNet的多感受野表示多种特征的优点的情况下，同时解决了密集连接效率低的问题。该网络性能优于DenseNet，而且速度也比DenseNet快2倍。 此外，VoVNet网络速度和效率也都优于ResNet，而且对于小目标检测的性能有了显著提高。

模型介绍

模型重要概念介绍 

（1）rethinking densenet

实际上，DenseNet通过密集连接来交换特征数量和特征质量。尽管DenseNet的表现证明了这种交换是有益的，但从能源和时间的角度来看，这种交换还有其他一些缺点。

• 首先，密集的连接会导致较高的内存访问成本。因为在固定的计算量或模型参数下，当输入和输出信道尺寸相同时，MAC可以最小化。密集连接增加了输入通道大小，而输出通道大小保持不变，因此，每个层的输入和输出通道大小都不平衡。因此，DenseNet在计算量或参数相同的模型中具有较高的mac值，并且消耗更多的能量和时间。
• 其次，密集连接引入瓶颈结构，影响了GPU并行计算的效率。当模型尺寸较大时，线性增加的输入尺寸是一个严重的问题，因为它使得整体计算相对于深度呈二次增长。为了抑制这种增长，DenseNet采用了增加1×1卷积层的瓶颈结构来保持3 × 3卷积层的输入大小不变。尽管这种方法可以减少FLOPs和参数，但同时它会损害GPU并行计算的效率。瓶颈结构将一个3 × 3卷积层分成两个较小的层，导致更多的顺序计算，从而降低了推理速度。

（2）OSA模块

• 文章提出一次性聚合（one-shot aggregation 即OSA）模块，该模块将其特征同时聚合到最后一层。如图1所示。每个卷积层包含双向连接，一个连接到下一层以产生具有更大感受野的特征，而另一个仅聚合到最终输出特征映射中一次。
• 与DenseNet的不同之处在于，每一层的输出并没有按路线（route）到所有后续的中间层，这使得中间层的输入大小是恒定的。这样就提高了GPU的计算效率。
• 另外一个不同之处在于没有了密集连接，因此MAC比DenseNet小得多。
• 此外，由于OSA模块聚集了浅层特征，它包含的层更少。因此&#x