【CNN】DenseNet——从特征角度考虑的神经网络

最新推荐文章于 2023-06-12 17:04:56 发布

原创

最新推荐文章于 2023-06-12 17:04:56 发布 · 973 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #cnn #深度学习

DenseNet通过特征重用和旁路设计，解决了梯度消失问题，减少了网络参数，增强了特征传递。其模型结构包括DenseBlock和TransitionLayer，使用1X1卷积进行通道降维。尽管DenseNet在参数量上优于ResNet，但在训练过程中内存占用较高，可能影响其普及度。

DenseNet论文名称：Densely Connected Convolutional Networks
DenseNet论文下载链接：
DenseNetpytorch代码实现：

前言

作为CVPR2017年的Best Paper， DenseNet脱离了通过加深网络层数(VGG，ResNet)和加宽网络结构(GoogLeNet)来提升网络性能的定式思维， 从特征的角度考虑, 通过特征重用和旁路(Bypass)设置，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度弥散问题的产生。结合信息流和特征复用的假设， DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文。

先列下DenseNet的几个优点，感受下它的强大：

1、减轻了vanishing-gradient（梯度消失）
2、加强了feature的传递，更有效地利用了不同层的feature
3、网络更易于训练，并具有一定的正则效果.
4、因为整个网络并不深，所以一定程度上较少了参数数量

一、Motivation

卷积神经网络在沉睡了近20年后, 如今成为了深度学习方向最主要的网络结构之一。从一开始的只有五层结构的LeNet，到后来拥有19层结构的VGG，再到首次跨越100层网络的Highway Networks与1000层的ResNet，网络层数的加深成为CNN发展的主要方向之一；另一个方向则是以GoogLeNet为代表的加深网络宽度。

随着CNN网络层数的不断增加，gradient vanishing和model degradation问题出现在了人们面前, BatchNormalizat