Densenet网络通过级联方式而非相加连接各层，增强特征传递，减轻梯度消失问题，减少参数和计算量。相比于Resnet，Densenet的block间使用transition层降低通道数，每个block的growth rate k（如12）定义每层新增特征映射数，通过bottleneck层进一步控制参数量。这种设计使得Densenet能有效利用特征并提升模型性能。
自从resnet之后人们开始讲不同层之间做不同的连接以期望得到更好的结果，本文的作者就提出了一种新的连接结构，并且有效的减轻了梯度消失的问题，加强了特征的传递，有效的理由了特征，减少了参数的数量以及计算量。
网络结构
我们可以发现每一层的输入来自前面所有层的输出。
densenet和其他网络对比
在resnet中前一层的输入和后一层的输入是相加到一起的，这在某种程度上阻碍了信息在网络中的流动，但是在densenet中并不是直接相加的而是通过级联的方式连接在一起（concatenate）。同时densenet的参数校教育其他网络要少很多并且减轻了梯度消失的问题，因为在普通个网络中梯度是通过一层一层传递下去的导致梯度消失，但是在densenet中每一层都连接着后面的层，这就在某种程度上避免了这种现象的发生。初次之外，densenet很窄，每一层只有12个filter。文中指出resnet是通过网络的深度来提升模型的性能，googlenet是通过增加宽度来提升模型的性能，但是densenet是通过很好的利用feature来提升模型的性能的。
下图是densenet和restnet的公式对比：
从公式中可以看出二者本质的区别。
结构分析
下图为densenet的几个不同结构：
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
