论文理解：DenseNet

最新推荐文章于 2025-06-02 14:55:13 发布

原创

最新推荐文章于 2025-06-02 14:55:13 发布 · 1.5k 阅读

5 ·

CC 4.0 BY-SA版权

本文介绍了DenseNet论文的核心思想，强调了其通过直接连接所有层实现特征重用，减少了参数数量并提高了网络效率。DenseNet的每一层都能直接访问输入信号和梯度，实现隐式的深层监督，具有正则化效果，同时通过“特征重用”提高参数利用率。此外，文章还探讨了DenseNet与ResNet和Inception networks的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

根据师兄的建议看了DenseNet论文。

还有其他人的一些笔记https://blog.youkuaiyun.com/malele4th/article/details/79429028

https://blog.youkuaiyun.com/u014380165/article/details/75142664

DenseNet仍然是针对出现的新问题：输入或者梯度信息穿过多层网络后，会在到达网络的结尾（对于梯度是开头）消失。面对此问题，作者认为，之前的ResNet,Highway Networks,Stochastic depth,FractalNets等等虽然在网络拓扑和训练过程中有所差异，但他们都创建了从浅层到深层的short paths。

基于这种理念，作者提出DenseNet，即直接连接所有层。为了保留前馈的本质（这里不太明白），每一层从之前的层获得输入，并将自己的特征图传向后面的层。关键的一点是，与ResNet相比，DenseNet没有在特征传向一层之前通过求和的方式组合，相反，我们通过连接的方式组合。示意图如下：

因为其稠密连接的特性，称为DenseNet。

DenseNet相较于传统神经网络有更少的参数，因为没有必要重新学习多余的特征图。DenseNet明确区分了加入网络中的信息和保存的信息。DenseNet很窄（比如每层12个filter），之将一小部分特征图加入到整个网络的“共同知识”中（作为保存的信息？），不改变其他的特征图，然后由最终分类器根据网络中的特征图做出决定。