论文笔记：主干网络——DenseNet

Densely Connected Concolutional Networks

稠密连接的卷积神经网络

论文结构

摘要： 捷径连接有效；本文提出激进的捷径连接FenseNet；在四个数据集获得SOTA
1. Introduction： CNN的发展，网络深度越来越深；网络深存在信息流通不畅问题；Short path广泛应用；DenseNet简介。
2. Related Work： 级联结构、捷径连接结构的网络模型简介；DenseNet简介。
3. DenseNets： Dense connectivity，pooling layer，Growth rate，bottleneck layer，compression等，网络细节
4. Experiments： 数据集介绍，训练超参介绍，4个数据的分类结果
5. Discussion： 实验结果分析探讨
6. Conclusion： 全文总结，总结本文工作，本文优点，将来可研究方向。

一、摘要核心

1. 背景介绍：近年卷积神经网络中加入捷径连接之后，可训练更深、精度更高、更高效的网络
2. 研究内容：本文提出DenseNet，其中的每一层会作为其后一层的输入层。对于L层的网络，传统方法有L层连接，而DenseNet有L×（L+1）/2个连接，所以叫DenseNet
3. 本文优点：减轻梯度消失，增强特征传播，加强特征复用，减少权重参数
4. 实验结果：各项指标超越ResNet
5. 开源代码

二、DenseNet 结构

① Dense connectivity

稠密连接：在一个Block中，每一层输入来自于它前面所有层的特征图，每一层输出均会直接连接到它后面所有层的输入

L层block中，有L×（L+1）/2个连接

优点：
用较少参数获得更多特征，减少了参数；
低级特征得以复用，特征更丰富；
更强的梯度流动，跳层连接更多，梯度可更容易向前传播。

② Composite function

将BN层、ReLU层和3×3卷积层组成一组操作对特征进行提取 。

之前接触的操作：x->conv->BN->ReLU

DenseNet：[x0࿰