DenseNet算法详解

DenseNet算法详解

二、网络结构

1. 紧密连接（Dense connectivity）

在DenseNet结构中，讲每一层的输出都导入后面的所有层，与ResNet的相加不同的是，DenseNet结构使用的是连结结构（concatenate）。这样的结构可以减少网络参数，避免ResNet中可能出现的缺点（例如某些层被选择性丢弃，信息阻塞等）。

2. 组成函数（Composite function）

Batch Normalization + ReLU + 3*3 Conv层

3. 过渡层（Transition Layer）

过渡层包含瓶颈层（bottleneck layer，即1*1卷积层）和池化层。

1）瓶颈层

1*1的卷积层用于压缩参数。每一层输出k个feature maps，理论上将每个Dense Block输出为4k个feature maps，然而实际情况中会大于这个数字。卷积层的作用是将一个Dense Block的参数压缩到4k个。

2）池化层

由于采用了Dense Connectivity结构，直接在各个层之间加入池化层是不可行的，因此采用的是Dense Block组合的方式，在各个Dense Block之间加入卷积层和池化层。

4. 增长率（Growth rate）