通俗易懂DenseNet

最新推荐文章于 2025-02-18 11:02:55 发布

shine-lee

最新推荐文章于 2025-02-18 11:02:55 发布

阅读量864

点赞数 2

分类专栏： backbone网络

本文链接：https://blog.youkuaiyun.com/blogshinelee/article/details/104578406

版权

本文详细介绍了DenseNet网络结构，包括Dense Block和Transition Layer的工作原理，阐述了DenseNet如何通过feature map的concatenation实现信息高效流动，以及其在减少参数和计算复杂度的同时保持高性能。DenseNet的特点被比喻为一种隐含的深度监督和多尺度特征融合，对比了Plain Net、ResNet和DenseNet的差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

博客：博客园 | 优快云 | blog

写在前面

在博客《ResNet详解与分析》中，我们谈到ResNet不同层之间的信息流通隐含在“和”中，所以从信息流通的角度看并不彻底，相比ResNet，DenseNet最大的不同之处在于，并不对feature map求element-wise addition，而是通过concatenation将feature map拼接在一起，所以DenseNet中的卷积层知道前面每一步卷积发生了什么。

Crucially, in contrast to ResNets, we never combine features summation before they are passed into a layer; instead, we combine features by concatenating them.

同ResNet结构类似，DenseNet也是由多个Dense Block串联而成，如下图所示

在这里插入图片描述

Dense Block与Transition Layer

在每个Dense Block内部，每个卷积层可以知道前面所有卷积层输出的feature map是什么，因为它的输入为前面所有卷积层输出的feature map拼接而成，换个角度说，每个卷积层得到的feature map要输出给它后面所有的卷积层。这里说“每个卷积层”并不准确，更准确的说法应该是“每组卷积”，后面将看到，一组卷积是由1个 $1\times 1$ 卷积层和 1个 $3\times 3$ 卷积层堆叠而成，即bottleneck结构。

to ensure maximum information flow between layers in the network, we connect all layers (with matching feature-map sizes) directly with each other. To preserve the feed-forward nature, each layer obtains additional inputs from all preceding layers and passes on its own feature-maps to all subsequent layers.

下面看一个Dense Block的示例，

在这里插入图片描述