densenet比resnet参数量少，但训练速度慢的原因分析

最新推荐文章于 2025-07-14 14:04:38 发布
最新推荐文章于 2025-07-14 14:04:38 发布
阅读量1.6w 收藏 36
点赞数 10
CC 4.0 BY-SA版权
分类专栏： deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dulingtingzi/article/details/90514060
笔者做四分类模型时发现，训练好的densenet的h5模型参数量仅1.3M，远少于resnet50的271M，但训练速度却更慢。通过查找资料、分析网络结构发现，densenet参数少是因卷积输入输出channel数少；速度慢是因featuremap大，卷积计算量、内存占用和访问次数多。还参考博客侧面验证猜想。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    笔者做一个四分类的模型，发现了一个非常有意思的问题，就是训练好的densenet的h5模型只有1.3M的参数量，而resnet50的参数量有271M之多，但是训练的速度竟然是densenet更慢，笔者很迷惑，所以就查找了一些资料并对网络结构进行分析，做一下记录，供大家参考。

首先我查找了一些资料，进行分析，毕竟要先知道网络速度的快慢和啥有关对吧，参考如下博客，

https://blog.youkuaiyun.com/leayc/article/details/81001801

然后我把自己的densenet和resnent的模型打印出来，model.summery()得到了两个模型的结构，下面是densenet的（没截全，只取了一开始和结尾部分）：

下面是resnet的（同样只是一开始和结尾部分）：

通过对比可以发现densenet比resnet参数少的原因在于每一次卷积输入输出的chanenl个数要比resnet少很多，这样bn层的参数也会少很多，channel数对此的影响很大，全连接层的参数也比resnet少很多；densenet比resnet慢的原因在于，densenet的featuremap比resnet大很多，导致卷积过程的计算量比resnet大很多，简而言之就是flops要大一些，内存的占用要大一些，而且内存的访问次数要多很多，内存的访问是很慢的，可以参考上面的那个连接里面讲解的，而不是全连接层的原因，因为densenet的全连接参数比resnet要少很多。

分析完原因以后，又看了一篇博客，上面正好有相关的参数实验，https://blog.youkuaiyun.com/u011311291/article/details/82969409

里面涉及到vgg16及densenet201的参数和内存的消耗，虽然我自己没有动手实验自己的网络，但是从侧面已经验证了我的猜想。

 

详解和对比ResNet和DenseNet和MobileNet
AGI
11-22 1万+
详解和对比ResNet和DenseNet和MobileNet 经典的Backbone，如ResNet50、Densenet121、MobileNetV2，三类框架，参考 Keras Applications ： ResNet50 DenseNet121 MobileNetV2 时间 CVPR 2015 CVPR 2017 CVPR 2018 模型 98M 33M 14M Top1(ImageNet) 0.749 0.750 0.713 参数 25,636,712(约2500w)
ResNet与Densenet之间的关系以及区别
LJC的博客
04-30 6350
一、resnet和densenet的之间的关系以及区别，如参数量和训练速度。 简单介绍下resnet以及densenet resnet的最大的贡献是缓解深层的神经网络训练中的梯度消失问题，主要是利用shortcut的技术可以加深网络的深度而没有退化。反向传播时，梯度可能会在距离输入近的地方中产生消失的现象，既然离输入近的神经网络层较难训练，则可以将它短接到更加靠近输出的地方。因为直接映射是难以学习的，而ReseNet学习的是残差，这是更容易学习的。shortcut的设计是将模块的输入和输出连接在一起，然
一文读懂现代卷积神经网络—稠密连接网络（DenseNet）
最新发布
wh1236666的博客
07-14 934
稠密连接网络（Dense Convolutional Network，简称 DenseNet）是 2017 年由 Huang 等人提出的一种深层卷积神经网络，其核心创新是“稠密连接（Dense Connection）”：网络中的每个层都会与前面所有层直接连接，即第l层的输入是前l-1层的输出的拼接（而非简单相加）。核心结构稠密块（Dense Block）：由多个卷积层组成，层间通过稠密连接融合特征。设第i层的输出为，则第l层的输入为前所有层输出的拼接：其中表示通道维度上的拼接，
FLOPS和参数量比较小的模型，推理时间反而较长？
傲笑风的博客
06-21 3547
两个模型 A 和 B，A 模型的 FLOPS 和参数量均比 B 模型少一半，但 B 模型的推理速度却稍微比 A 模型快一些。出现这种情况由几种情况出现： 一、运行平台的不同，这个很明显，在大多数情况下 GPU 平台下运行比 CPU快 二、在同一运行平台，不同的深度学习框架也有些差异（如pytorch,tensorflow等） 三、同一平台、同一框架、并行化程度影响较大，并行程度高的推理较快 四、以上三种情况均相同情况下，有以下两种影响因素： （1） 对内存的访问频率，访问内存频率高的推理时间较长 （2）同步
ResNet,DenseNet神经网络的差异和性能分析
jhoojhooablido
03-15 7894
参考文献: 网络框架的演变:https://www.cnblogs.com/skyfsm/p/8451834.html densenet 性能分析:https://blog.youkuaiyun.com/u013214262/article/details/82846564 http://www.yyliu.cn/post/7cabb4ff.html RESNET 随着网络深度...
DenseNet
cdknight_happy的专栏
04-05 2125
摘要最近的研究成果证明只要在网络靠近输入层和输出层之间建立short connections，就可以高效地训练一个足够深、足够精确的CNN网络。本文中，作者基于上述观察提出了DenseNet，该网络中任意两个层之间都包含short connection，所以DenseNet共包含了L(L+1)/2个direct connections。对于每一个网络层，它前面所有的层的feature maps都是它
DenseNet详解
tt丫的博客
01-08 2万+
​ 目录 一、DenseNet网络的背景 二、DenseNet网络结构 四、DenseNet优缺点 五、DenseNet代码实现 一、DenseNet网络的背景 DenseNet模型的基本思路与ResNet一致，但它建立的是前面所有层与后面层的密集连接（即相加变连结），它的名称也是由此而来。 DenseNet的另一大特色是通过特征在通道上的连接来实现特征重用。这些特点让DenseNet的参数量和计算成本都变得更少了（相对ResNet），效果也
进击J4：ResNet与DenseNet结合探索
u012249506的博客
08-23 773
总体而言，DPN的训练效果相对更加稳定，无论是训练准确率和损失的变化，还是测试准确率和损失的波动都小于两者。这可能意味着DPN所采用的模型、参数设置或训练策略在一定程度上更加合理，能够更好地适应数据和任务。自己尝试构建还是比较困难，主要还是参考别人的，除了DPN之外，也参考了“DenseNet_Resnet”、“densenet121”，效果差不多。下周停更对前面的知识进行一下复盘和巩固。
ResNet与DenseNet
qq_42079689的博客
05-12 1078
ResNet 可参考来聊聊ResNet及其变种 【1】ResNet的一个重要设计原则是：当feature map大小降低一半时，feature map的数量增加一倍，这保持了网络层的复杂度。 【2】Resnet的核心思想就是更改了网络结构的学习目的，原本学习的是直接通过卷积得到的图像特征H(X)，现在学习的是图像与特征的残差H(X)-X,这样更改的原因是因为学习残差相比原始特征的直接学习更加容易。   上图说明了ResNet残差块与普通CNN的区别，图的左侧为普通的两层CNN，右侧为ResNet的残差块，
DenseNet算法详解
热门推荐
AI之路
07-15 29万+
论文：Densely Connected Convolutional Networks 论文链接：https://arxiv.org/pdf/1608.06993.pdf 代码的github链接：https://github.com/liuzhuang13/DenseNet文章详解： 这篇文章是CVPR2017的oral，非常厉害。文章提出的DenseNet（Dense Convolution
ResNet的性能不够好？ResNet听了直摇头并强势反击：是你的训练策略不行吧
02-11 1029
ResNet的性能不够好？ResNet听了直摇头并强势反击：是你的训练策略不行吧
densenet代码
04-14
网络找到的代码 亲测可用 直接下载Python版cifar数据集添加路径即可 内含resnet代码
Tensorflow训练模型渐渐变慢，以致迭代一段时间卡死的原因
梦萦飞--CV/DL/ML
10-10 7228
1、问题原因 原因是：运行时你的session里定义了tf的operator导致的。因为这样每一次迭代都会在graph里增加新的节点，导致memory leak（内存泄漏），程序越来越慢，最后强行退出。至于在运行时程序有没有增加节点，可以在session里定义graph.finalize()锁定graph，如果跑的时候报错就证明程序在动态添加节点导致的越来越慢。 2、解决方法 更改代码，如下...
DenseNet详述
周先森爱吃素的博客
07-13 3373
本文主要介绍近几年效果比较好的DenseNet网络并代码实现。
DenseNet训练实践
一蓑烟雨任平生
10-16 1万+
在Cifar10上训练DenseNet，复现DenseNet论文的结果是后面两篇分析工作的基础，因此本系列的第一篇，将首先讨论深度学习的训练过程中的几个方面： 1. 数据集 1.1 Cifar10数据集 Cifar10数据集有6万张32X32的图片，是一个小型的数据集，但数据的复杂度足够，下图来自DenseNet论文，可以看出，不用数据增强的话，ResNet的正确率也很难超过90%，因而足以用来验...
Maskrcnn中resnet50改为resnet34
weixin_43152285的博客
07-31 3972
因需要训练的数据集并不复杂，resnet50的结构有点冗余，于是就把maskrcnn的backbone从resnet50改为resnet34结构。 找到model文件，将resnet50部分代码做一定的修改，就可以得到resnet34的相关代码 下面是相关代码： ## con_block修改为conv_block0并添加到model文件中 def conv_block0(input_tensor...
卷积神经网络学习路线（十二）| 继往开来的DenseNet
I good vegetable a!
08-02 352
论文原文 https://arxiv.org/pdf/1608.06993.pdf 摘要 论文先讲到了使用了ShortCur连接的话，网络已经变得越来越深。然后引入了论文要介绍的DenseNet，正是利用了shortcut连接的思想。每一层都将前面所有层的特征图作为输入，最后使用concatenate来聚合信息。实验显示，DenseNet消除了梯度消失问题，增大了特征重用，大大减少了参数量。并且在...
DenseNet模型的原理和特点
03-31
<think>好的，我现在需要向用户介绍DenseNet模型的原理和特点。首先，我得回忆一下DenseNet的基本概念，确保自己理解正确。DenseNet，全称是Dense Convolutional Network，也就是密集卷积网络。它是在2017年由康奈尔大学的Gao Huang等人提出的，对吧？ 接下来，原理部分。DenseNet的核心思想是密集连接，也就是每一层都连接到后面所有的层。这不同于之前的ResNet的残差连接，ResNet是通过相加的方式将前面层的特征传递到后面，而DenseNet应该是在通道维度上进行拼接。这样的话，每一层都能直接访问之前所有层的特征图，从而促进特征重用，减少梯度消失问题。 然后，我需要解释一下Dense Block的结构。在Dense Block内部，每一层的输入都是前面所有层输出的拼接。假设有L层，那么第L层的输入就是前面L-1层输出的拼接。这会导致特征图的通道数不断增加，所以每个Dense Block之后应该有一个过渡层（Transition Layer），通常包括批量归一化、卷积和池化，用来压缩通道数和降低特征图尺寸，以控制模型复杂度。 关于特点，DenseNet有几个显著的优势。首先是减轻了梯度消失，因为每一层都能直接获得损失函数的梯度。其次，特征重用提高了参数的效率，因为每一层都可以利用之前的所有特征，所以不需要重复学习冗余的特征。另外，模型参数更少，因为每一层的卷积核可以设计得很小，例如使用1x1和3x3的卷积组合，这样在保持性能的同时减少参数数量。 不过，这里可能需要更具体一点。比如，DenseNet中的每个层（通常称为Dense Layer）由BN、ReLU、卷积组成，通常使用Bottleneck结构，即1x1卷积减少通道数，再进行3x3卷积。这样可以减少计算量。每个Dense Block之后，过渡层使用1x1卷积压缩通道，然后进行平均池化下采样。 用户可能还会想知道DenseNet相比ResNet的优势在哪里。比如，ResNet通过残差相加，而DenseNet通过拼接，这样保留了更多原始信息，促进特征重用。此外，DenseNet的参数更少，但计算量可能因为拼接操作而增加，特别是在通道数很大的时候。不过，通过Bottleneck和过渡层的设计，这个问题得到缓解。 可能需要提到具体的网络结构，比如DenseNet-121、169等，这些数字代表的是网络的层数。不同版本的区别在于每个Dense Block中的层数不同。例如，DenseNet-121有四个Dense Block，每个Block里的层数不同。 在应用方面，DenseNet在图像分类任务中表现很好，尤其是在数据量较少的情况下，因为参数效率高。但可能因为密集连接，显存占用较高，尤其是在训练时，因为需要保存很多中间特征图。不过，后续的研究可能有优化方法，比如内存优化技术。 总结一下，我需要分步骤解释DenseNet的原理，包括密集连接、Dense Block和过渡层的结构，然后讨论其特点，比如减轻梯度消失、特征重用、参数效率等，同时可能提到优缺点和应用场景。需要确保用词准确，结构清晰，避免技术错误，比如正确区分ResNet和DenseNet的连接方式，以及正确描述Bottleneck的作用。 在组织回答时，应该先介绍原理，再详细讲解结构，然后列出特点，最后可能对比其他模型或讨论应用。要注意使用中文，数学公式用$$...$$，比如特征拼接的过程可以用公式表示。例如，第$l$层的输入是前面所有层的输出拼接：$x_l = H_l([x_0, x_1, ..., x_{l-1}])$，其中$H_l$代表第$l$层的非线性变换。 检查是否有遗漏点，比如DenseNet的增长率（growth rate）参数k，每个Dense Layer产生k个特征图，这样每个Block中每层输出的通道数是k，而整个Dense Block的输出通道数是初始通道数加上层数乘以k。这可能也是过渡层需要压缩的原因，避免通道数过多。 最后，确保回答符合用户的要求：结构清晰，逐步解释，正确使用LaTeX格式，用中文。可能还需要验证一些细节，比如DenseNet的提出时间和作者是否正确，结构细节是否准确，避免错误。</think>DenseNet（Dense Convolutional Network）是一种通过密集连接增强特征重用的卷积神经网络模型。以下分步骤介绍其原理和特点： --- ### **一、原理** 1. **密集连接（Dense Connectivity）** 每一层的输入是**前面所有层输出的拼接**。例如，第$l$层的输入为： $$ x_l = H_l\left(\left[x_0, x_1, \dots, x_{l-1}\right]\right) $$ 其中$H_l$表示第$l$层的非线性变换（如卷积、激活函数），$\left[x_0, \dots, x_{l-1}\right]$表示沿通道维度拼接特征图。 2. **Dense Block结构** - 每个Dense Block内部由多个**Dense Layer**组成。 - 每个Dense Layer包含： - **批量归一化（BN）** → **ReLU** → **1×1卷积（Bottleneck）** → **BN** → **ReLU** → **3×3卷积**。 - Bottleneck的1×1卷积用于减少通道数，降低计算量。 3. **过渡层（Transition Layer）** 位于Dense Block之间，用于压缩通道和降维： - **1×1卷积**：减少通道数（通常压缩为原通道数的一半）。 - **2×2平均池化**：缩小特征图尺寸。 --- ### **二、特点** 1. **减轻梯度消失** 密集连接使得每层都能直接获取损失函数的梯度，缓解深层网络的梯度消失问题。 2. **特征重用** 所有前置层的特征图被后续层复用，避免冗余学习，提升参数效率。 3. **参数更少** - 通过Bottleneck设计（1×1卷积）和过渡层压缩通道，显著减少参数量。 - 例如，DenseNet-201在ImageNet上的参数仅为ResNet-152的60%，但精度更高。 4. **显式控制特征增长率** 引入**增长率（Growth Rate）**$k$，定义每层输出的新通道数（如$k=32$）。整个Dense Block的输出通道数为： $$ \text{通道数} = k_0 + k \times (l-1) $$ 其中$k_0$为初始通道数，$l$为Dense Block内的层数。 --- ### **三、与ResNet的对比** | **特性** | **ResNet** | **DenseNet** | |----------------|---------------------------|----------------------------| | 连接方式 | 残差相加（$x_{l}=x_{l-1}+F(x_{l-1})$） | 通道拼接（$x_l = [x_0, \dots, x_{l-1}]$） | | 特征传递 | 间接（逐层相加） | 直接（保留所有历史特征） | | 参数效率 | 较低 | 较高（复用特征减少冗余） | | 显存占用 | 较低 | 较高（需存储大量特征图） | --- ### **四、典型结构** 以DenseNet-121为例： 1. **初始卷积层**：7×7卷积 + 3×3最大池化。 2. **4个Dense Block**：分别包含6、12、24、16个Dense Layer。 3. **过渡层**：每个Dense Block后接过渡层（1×1卷积 + 平均池化）。 4. **分类层**：全局平均池化 + 全连接层。 --- ### **五、优缺点** - **优点**：参数少、精度高、适合小数据集。 - **缺点**：训练时显存消耗大（需优化内存管理）。 --- ### **六、应用场景** - 图像分类（如ImageNet）、目标检测、医学图像分析等对特征复用要求高的任务。 通过密集连接和高效的特征复用，DenseNet在减少参数量的同时提升了模型性能，成为深度学习中的重要基础架构之一。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值