《Densely Connected Convolutional Networks》论文阅读笔记

最新推荐文章于 2024-03-22 17:00:30 发布
最新推荐文章于 2024-03-22 17:00:30 发布
阅读量508 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： cnn 文章标签： Densenet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_22147265/article/details/82865373
DenseNet是一种创新的卷积神经网络结构，旨在解决传统CNN存在的梯度消失、特征重用和参数冗余问题。通过引入密集连接的概念，DenseNet实现了特征的高效传播和重用，减少了参数数量，同时具有较强的正则化效果，有效防止过拟合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文代码： https://github.com/liuzhuang13/DenseNet

pytorch实现 https://github.com/liuzhuang13/DenseNet/tree/master/models

论文动机：在CNN中靠近输入、输出的层之间如果包含更短的连接，则CNN训练时会更高效、更准确；

提出网络：Dense Convolutional Network(DenseNet)；L层的传统卷积网络需要L次连接，而DenseNet需要\frac{L(L+1)}{2}次连接；

优点：减轻梯度消失问题；加强特征传播；支持特征重用（feature reuse）；减少参数数量（因为不需要重新学习冗余的特征图，尽管这个网络结构是dense connectivity，参数反而大大减少）；

Introduction

ResNets、Hightway Networks、FractalNets, they all share a key characteristic: they create short paths from early layers to later layers. 

下图时DenseNet结构，意义：

To ensure maximum information flow between layers in the network, we connect all layers (with matching feature-map sizes) directly with each other. To preserve the feed-forward nature, each layer obtains additional inputs from all preceding layers and passes on its own feature-maps to all subsequent layers.

 

传统的前馈结构可以被看作是具有状态的算法，这个状态在层与层之间传播，每一层接收前面一层传递的状态然后写到下面一层，它改变了状态，但也传递了需要保存的信息。

本文提出的DenseNet结构可以准确区分增加到网络上的信息以及被保存下的信息；同时Dense connections有正则化作用，会在小训练集的任务上减少过拟合的影响；

DenseNets

l{\color{Red} }: 层的索引；

H_{l}(.): 非线性转换，是一个复合操作，比如BN、ReLU、Poolingu哦这Conv；

X_{l}: l_{th}层的输出；

------------------------------------

先回忆ResNets:

X_{l}=H_{l}(X_{l-1})+X_{l-1}

优点：梯度可以从后面的层通过恒等函数到达前面的层；

缺点：因为采用加和的方式将恒等函数和H_{l}结合，可能阻碍信息在网络中的传播；   

------------------------------------

Dense connectivity:

X_{l}=H_{l}([X_{0},X_{1},...,X_{l-1}]])

------------------------------------

考虑到特征图尺寸可能由下采样引起的变化，我们将网络分成多个dense blocks，如下图；

transition layers: 是block和block之间的，卷积和池化操作；

Growth rate: 

每个函数H_{l}产生k个特征图，则l_{th}层有k_{0}+k*(l-1)个输入特征图，k_{0}是输入层的通道数；k就是网络的Growth rate；

------------------------------------

Bottleneck layers:

1X1的卷积在3X3的卷积前作为一个bottleneck layer，可以提高计算效率；

------------------------------------

Compression:

为了进一步提高模型的compactness，我们可以减少过渡层的特征图的数量。

 

相关参考 https://blog.youkuaiyun.com/u012938704/article/details/53468483

https://blog.youkuaiyun.com/u011974639/article/details/78290448

 

文献《Densely Connected Convolutional Networks》阅读笔记
smile_jiao的博客
05-27 2983
论文的主要贡献： 论文提出了一种新的网络DenseNet。    论文想法的来源： 卷积神经网络越深，准确率越高，同时与输入靠近的层和输出靠近的层时间的连接越短，越有助于训练。    论文的网络DenseNets： 是将要通过卷积神经网络的图像。网络一共包含L层，实践过程中会有一个非线性转换函数 （类似于BN,ReLU,Pooling,或卷积）， 中的l表示层。第l层的输出记为 。 R
Densely Connected Convolutional Networks阅读笔记
qq_44714709的博客
08-24 207
1、论文解决了什么问题 文章主要对稠密链接的效果进行试验研究和分析。 2、论文采用了什么方法 通过稠密卷积网络将每层网络都与其对应的输入进行连接。 3、论文达到了什么效果 1、缓和了梯度消失的问题。 2、巩固了特征的传播。 3、支持特征的重复使用。 4、论文的关键内容 1、设计了一个可以控制网络深度的超参数，当计算机计算能力有限时，可以将网络深度设置小一些。 2、在Bottleneck layers中在33的卷积之前都加入了11的卷积，可以在通道数过多时，减少通道数，加快计算效率。并且每个Bottlenec
DenseNet模型
热门推荐
毛财胜的专栏
12-05 5万+
《Densely Connected Convolutional Networks》阅读笔记 代码地址：https://github.com/liuzhuang13/DenseNet 首先看一张图： 稠密连接：每层以之前层的输出为输入，对于有L层的传统网络，一共有LL个连接，对于DenseNet，则有L(L+1)2\frac {L(L+1)} 2。这篇论文主要参考了Highway Netw
DenseNet
Mihu_Tutu的博客
10-23 311
原文地址： Densely Connected Convolutional Networks 文章详解： 这篇文章是CVPR2017的oral，非常厉害。文章提出的DenseNet（Dense Convolutional Network）主要还是和ResNet及Inception网络做对比，思想上有借鉴，但却是全新的结构，网络结构并不复杂，却非常有效！众所周知，最近一两年卷积神经网络提高效果的方向...
【论文】Densely Connected Convolutional Networks（DenseNet译文）
pangpd的博客
06-03 739
摘要 最近的研究表明，如果在靠近输入层与输出层之间的地方使用短连接（shorter connections），就可以训练更深、更准确、更有效的卷积网络。在这篇文章中，我们基于这个观点，介绍了稠密卷积网络（DenseNet），该网络在前馈时将每一层都与其他的任一层进行了连接。传统的 L层卷积网络有L个连接——每一层与它的前一层和后一层相连——我们的网络有L(L+1) / 2 个连接。每一层都将之前的所有层的特征图作为输入，而它自己的特征图是之后所有层的输入。DenseNets有一些很不错的优点：有助于解决梯度
（DenseNet）Densely Connected Convolutional Networks论文阅读笔记
weixin_43422466的博客
08-18 674
文章目录（DenseNet）Densely Connected Convolutional Networks论文阅读笔记2018Abstract1. Introduction2. Related Work3. DenseNets4. Experiments4.1 Datasets4.2 Training4.3 Classification Results on CIFAR and SVHN4.4 Classification Results on ImageNet5. Discussion6. Conclu
论文笔记：Densely Connected Convolutional Networks
欢迎来到我的酒馆
09-04 457
Dense Block: 每一层只增加 k = 4 个feature map 然后跟前面的所有concat，再 BN-->ReLU-->Conv   （一般k = 12）   整体结构： Dense Block之间是Conv和Pooling   Bottleneck layers: 尽管每次只增加k个，但是到后来还是很大，所以,采用Bottleneck，即BN-ReL...
DenseNet:《Densely Connected Convolutional Networks》论文笔记
weixin_43944218的博客
10-24 540
DenseNet:《Densely Connected Convolutional Networks》论文笔记 这篇文章出自CVPR2017的最佳论文。本文主要介绍了一种新的卷积神经网络，名为密集卷积神经网络。下文是本人读完该论文做的一些笔记心得。通过分享希望能帮到有需要的朋友，如有问题，请朋友们指正，不胜感激[抱拳]。 介绍 最近的研究表明，随着网络结构的加深，梯度与信息消失现象也就越明显。为了解决这一问题，人们已设计出了ResNet，Highway Networks，Fracta...
DenseNet《Densely Connected Convolutional Networks》
985小菜鸡
03-22 1134
最近的研究表明，如果卷积网络在靠近输入和接近输出的层之间包含更短的连接，那么卷积网络可以更深入、更准确、更有效地训练。在本文中，作者接受了这一观察结果，并引入了密集卷积网络(DenseNet)，它以前馈方式将每一层连接到其他每一层。传统的LLL层卷积网络有LLL个连接——每一层和它的后续层之间有一个连接，而作者提出的网络有LL122LL1​个直接连接。这张配图，HHH表示的是由批量归一化（BN）、ReLU激活函数和卷积层（Conv）组成的非线性映射层。
Attention Guided Graph Convolutional Networks for Relation Extraction(ACL19) 阅读笔记
L_x_4的博客
03-11 730
论文报告 Attention Guided Graph Convolutional Networks for Relation Extraction(ACL19) Motivation 关系抽取的目的是检测文本中实体之间的关系。他是自然语言处理中较为基础的任务，可以应用在生物医学知识发现、数据库检索等多种领域，同样也是智能问答、自然语言生成、阅读理解等领域的基础。 Related Work 现有的...
【论文阅读笔记】Densely Connected Convolutional Networks
寸先生的AI道路
01-24 427
本文是CVPR-2017-best paper之一，在ResNet基础上进一步改变CNN网络连接结构，实现State-of-the-art的效果。论文的想法很值得借鉴。大神还无私的给出了代码实现： https://github.com/liuzhuang13/DenseNet. 1.Introduction       介绍了CNN的发展，网络层数变多后出现训练梯度消失的问题，之前大名鼎鼎的
Densely Connected Convolutional Networks（文献阅读笔记）
weixin_44111292的博客
06-21 927
摘要 最近的研究表明，如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接，那么它的训练就可以更深入、更准确、更有效 在本文中，我们相信这一观察，并引入了Dense Convolutional Network(DenseNet)，它以前馈方式将每一层连接到每一层。传统的卷积网络有L层L个连接-在每层与其后续层之间有，而我们的网络有L(L+1)/2L(L+1) /2L(L+1)/2个直接连接。 对于每一层，前面所有层的特征图被用作输入，它自己的特征图被用作所有后续层的输入。DenseNets有几个引人注
DenseNet：Densely Connected Convolutional Networks（论文阅读笔记）
weixin_40671425的博客
07-30 1924
论文链接：《Densely Connected Convolutional Networks》 代码链接：https://github.com/liuzhuang13/DenseNet 摘要 最近的研究表明，如果卷积网络包含接近输入层和接近输出层之间较短的连接，那么训练卷积网络将会更加深入、准确和有效。在本文中，我们接受了这一观察，并引入了Dense Convolutional Net...
论文阅读笔记：Densely Connected Convolutional Networks（DenseNet）
程程的博客
12-12 1164
发表载体：CVPR,2017,最佳论文 作者信息：Gao Huang，Cornell University； Zhuang Liu， Tsinghua University ；Laurens van der Maaten， Facebook AI Research 论文地址：论文下载 代码：代码 1、解决的问题 深度卷积神经网络可以准确有效地解决各类问题，但是随着网络层数的加深，梯度...
Densely Connected Convolutional Networks(DenseNet)
u011576009的博客
09-15 1066
DenseNet详解
【DenseNet】《Densely Connected Convolutional Networks》
bryant_meng
04-20 776
CVPR-2017 best paper award 在 CIFAR-10 上的小实验可以参考博客【Keras-DenseNet】CIFAR-10 文章目录1 Motivation2 Advantages3 Architecture3.1 Dense connectivity3.2 Composite function3.3 Pooling layers3.4 Growth rate3.5 ...
论文翻译-Densely Connected Convolutional Networks
Fan9_的博客
08-12 918
Densely Connected Convolutional Networks/密集连接卷积网络 摘要： 第一段：denseNet的连接方式和优点 最难研究表明：如果网络中包含接近输入层和接近输出层之间的短连接，那么模型可以更深入，更精确和有效的进行训练。本文提出了DenseNet。它具有以下优点：1）缓解梯度消失问题2）增强特征的传播。3）鼓励特征的复用。4）大幅减少网络参数。 ...
论文阅读笔记（九）：Densely Connected Convolutional Networks ( DenseNet )
sunshine_010的博客
04-10 1212
本文是论文的相关摘要，因为作者的原话最容易理解，所以将精彩语句摘录，帮助快速回忆起文章主要信息。 Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connect...
【paper 1】Densely Connected Convolutional Networks CVPR2017 随笔
117瓶果粒橙
05-22 311
第一篇找到了CVPR best paper。 参考链接 网络模型--Densely Connected Convolutional Networks CVPR 2017最佳论文作者解读：DenseNet 的“what”、“why”和“how”｜CVPR 2017 论文笔记：Densely Connected Convolutional Networks(DenseNet模型详解...
Densely Connected Convolutional Networks网络
最新发布
04-01
### Densely Connected Convolutional Networks (DenseNet) 的架构与实现 #### 架构解释 DenseNet 是一种密集连接的卷积神经网络，其核心思想在于通过层间的密集连接来增强特征重用并减少冗余参数。在传统卷积网络中，每一层仅与其相邻的一层相连；而在 DenseNet 中，每层不仅接受前一层的输入，还接受之前所有层的输出作为额外输入[^3]。 这种设计使得 DenseNet 能够显著降低模型复杂度和计算成本，因为各层无需重复学习相同的特征图。具体而言，DenseNet 将每一层的输出视为全局状态的一部分，并允许后续层访问这些状态。因此，最终分类器能够利用整个网络中的所有特征图进行预测[^5]。 #### 实现方法 以下是 DenseNet 的基本构建单元及其 Python 实现： 1. **Dense Block**: 密集块由多个卷积层组成，其中每一层都将自身的输出与其他层的输出拼接在一起。 2. **Transition Layer**: 这些层用于控制特征图的数量以及缩小图像尺寸，通常包括批量归一化（Batch Normalization）、ReLU 和平均池化操作。 下面是基于 PyTorch 的简单实现示例： ```python import torch.nn as nn import torch class Bottleneck(nn.Module): """Bottleneck 层""" def __init__(self, in_channels, growth_rate): super(Bottleneck, self).__init__() inter_channel = 4 * growth_rate self.bn1 = nn.BatchNorm2d(in_channels) self.conv1 = nn.Conv2d(in_channels, inter_channel, kernel_size=1, bias=False) self.relu = nn.ReLU(inplace=True) self.bn2 = nn.BatchNorm2d(inter_channel) self.conv2 = nn.Conv2d(inter_channel, growth_rate, kernel_size=3, padding=1, bias=False) def forward(self, x): out = self.conv1(self.relu(self.bn1(x))) out = self.conv2(self.relu(self.bn2(out))) out = torch.cat((x, out), dim=1) # 特征图拼接 return out class Transition(nn.Module): """过渡层""" def __init__(self, in_channels, out_channels): super(Transition, self).__init__() self.bn = nn.BatchNorm2d(in_channels) self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False) self.avg_pool = nn.AvgPool2d(kernel_size=2, stride=2) def forward(self, x): out = self.conv(self.bn(x)) out = self.avg_pool(out) return out class DenseNet(nn.Module): """DenseNet 主体结构""" def __init__(self, num_init_features, growth_rate, block_config, num_classes=1000): super(DenseNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, num_init_features, kernel_size=7, stride=2, padding=3, bias=False), nn.BatchNorm2d(num_init_features), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2, padding=1) ) num_features = num_init_features for i, num_layers in enumerate(block_config): dense_block = self._make_dense_block(growth_rate, num_layers, num_features) self.features.add_module(f"denseblock{i + 1}", dense_block) num_features += num_layers * growth_rate if i != len(block_config) - 1: trans_layer = Transition(num_features, num_features // 2) self.features.add_module(f"transition{i + 1}", trans_layer) num_features //= 2 self.classifier = nn.Linear(num_features, num_classes) def _make_dense_block(self, growth_rate, n_layers, input_channels): layers = [] for _ in range(n_layers): layers.append(Bottleneck(input_channels, growth_rate)) input_channels += growth_rate return nn.Sequential(*layers) def forward(self, x): features = self.features(x) out = nn.functional.adaptive_avg_pool2d(features, (1, 1)) out = torch.flatten(out, 1) out = self.classifier(out) return out ``` 上述代码定义了一个基础版本的 DenseNet 模型，其中包括瓶颈层（`Bottleneck`）和过渡层（`Transition`）。通过调整 `growth_rate` 和 `block_config` 参数，可以灵活配置不同的 DenseNet 变种。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值