CVPR2017最佳论文 Densely Connected Convolutional Networks （DenseNets）阅读笔记

CVPR2017最佳论文 Densely Connected Convolutional Networks （DenseNets）阅读笔记

原文：Densely Connected Convolutional Networks
作者：Gao Huang， Zhuang Liu， Kilian Q. Weinberger， Laurens van der Maaten
下载地址：https://arxiv.org/abs/1608.06993

---

1 简介

• 近几年的深度学习模型中，CNN一直是绝对主导地位。Resnet、GoogLeNet、VGG等优秀的网络都是基于CNN搭建的。然而，深层的CNN一直以来都存在一个问题：数据在多层传播后很可能会逐渐消失。Resnet通过“skip connection”结构一定程度上在促进了数据在层间的流通，但接近输出的网络层还是没有充分获得网络前面的特征图。
• 作者提出的DenseNets，在前向传播基础上，网络每一层都能接受到它前面所有层的特征图，并且数据聚合采用的是拼接而非Resnet中的相加。网络模型如下图所示：
  
• 这种连接方式有一个很大的优点。前向传播时，深层网络能获得浅层的信息，而反向传播时，浅层网络能获得深层的梯度信息。这样最大程度地促进了数据在网络间的流动。
• 另外，这种结构存在着大量的特征复用。因此只需要很少的参数，就可以达到state-of-the-art的效果。主要是体现在特征图的通道数上，相比VGG、Re