从卷积到residual dense network: Convolution, ResNet, DenseNet and ResDenseNet解读

最新推荐文章于 2024-06-07 20:17:38 发布
原创 最新推荐文章于 2024-06-07 20:17:38 发布 · 3.4k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ResDenseNet #Residual dense network #机器学习 #Residual #Dense

本文深入解析卷积操作、残差块和密集块的概念，探讨它们如何缓解梯度消失问题，并介绍Residual Dense Network如何结合两者优势，用于单图像超分辨率任务。

Convolution

把各个*input feature maps分别经过一个kernel的卷积结果相加，得到一个* output feature map：

Output feature map’s shape

Convolution layer

Convolution layer的output feature map的shape与下列变量有关：
- input feature map shape ii
- kernel size k (usually odd)
- zero padding pp
- stride s

Name kk p ss
最低0.47元/天 解锁文章
LLM - 详解和对比 ResNet 和 DenseNet 和 MobileNet
AGI
11-22 1万+
详解和对比ResNet和DenseNet和MobileNet 经典的Backbone，如ResNet50、Densenet121、MobileNetV2，三类框架，参考 Keras Applications ： ResNet50 DenseNet121 MobileNetV2 时间 CVPR 2015 CVPR 2017 CVPR 2018 模型 98M 33M 14M Top1(ImageNet) 0.749 0.750 0.713 参数 25,636,712(约2500w)
【图像超分】论文精读：Residual Dense Network for Image Super-Resolution（RDN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-31 6981
一个非常深的卷积神经网络 (CNN) 最近在图像分类 (SR) 方面取得了巨大成功，并提供了分层特征。然而，大多数基于深度 CNN 的 SR 模型没有充分利用原始低分辨率 (LR) 图像中的层次特征，从而实现相对较低的性能。在本文中，我们提出了一种新的残差密集网络(RDN)来解决图像SR中的这个问题。我们充分利用所有卷积层的分层特征。具体来说，我们提出了残差密集块（RDB）通过密集连接的卷积层提取丰富的局部特征。RDB 进一步允许将前一个 RDB 的状态与当前 RDB 的所有层直接连接，从而产生连续的内存
【论文笔记1_超分辨】（RDN）Residual Dense Network for Image Super-Resolution
HaotianYan的博客
09-15 4288
文章目录Abstract1. Introduction Abstract 深层CNN拥有提取多层次特征的能力，最近在图像超分辨（SR）领域取得了不错的进展。然而，大多数基于CNN的SR模型不能很好地利用这些来自LR的各级特征，导致相对较低的性能。 在本篇文章里，我们提出了一种全新的残差密集网络（Residual Dense Network，RDN）以解决图像SR中的这一问题。 RDN能够充分利用所有卷积层中的各个层次信息。我们提出的残差密集块（Residual Dense Block，RDB）通过将卷积层
RDN:Residual Dense Network for Image Super-Resolution
清风吹斜阳
03-11 1628
Residual Dense Network for Image Super-Resolution Yulun Zhang , Yapeng Tian , Yu Kong , Bineng Zhong , Yun Fu CVPR2018 摘要 论文认为之前的方法没有取得较好超分辨率结果的原因是因为它们没有利用低分辨率图像的层次信息。而论文提出了残差密集块可以解决这个问题。经过残差链接的卷积...
【论文笔记】（SR）《Residual Dense Network for Image Super-Resolution》
jiamenghu的博客
10-28 573
《Residual Dense Network for Image Super-Resolution》论文阅读笔记 针对的问题 ：针对目前大多数基于CNN的SR模型不能充分利用原始低分辨率（LR）图像的层次特征（the hierarchical features ），只实现了较低的表现。 提出的办法 ：提出了一种 residual dense network (RDN)解决这个问题。 使用 residual dense block (RDB) ：使用密集连接的卷积层来提取局部特征 RDB会将前面的RDB状
图像超分辨之RDN（Residual Dense Network）
热门推荐
年轻即出发，
08-06 4万+
  论文： Residual Dense Network for Image Super-Resolution  Github： https://github.com/yulunzhang/RDN https://github.com/hengchuan/RDN-TensorFlow   整体结构：   RDN（Residual Dense Network）主要包含4个模块。...
Paper notes-Residual Dense Network for Image Super-Resolution
Cutepingping的博客
06-11 1569
Paper notes-Residual Dense Network for Image Super-Resolution论文地址：https://arxiv.org/pdf/1802.08797.pdf代码地址：https://github.com/yulunzhang/RDN/tree/master/RDN_TrainCode作者提出了一个RDN（Residual Dense Network）...
图像分类经典论文阅读笔记（VGGNet、Google Net、ResNet、DenseNet、SENet、ResNeXt）
weixin_47365232的博客
06-07 1229
下图就是Inception网络架构的两个模块，(a)是原始版本，但是每个Inception模块都会增加维度，最后会导致计算爆炸。为什么维度一定会增加？（结合后面的Concatenate操作）因为存在一个池化层，而池化层的维度和输入的维度是一致的，所以不管其他三个卷积的卷积核个数到底是多少，最终得到的输出结果维度都会增加。如果输入的维度是x，那么输出的维度至少也是x+3。(b)是改进后的模块，通过加入1 x 1卷积，实现降维，可以降低参数量和计算量。
CVPR2017：密集连接的卷积网络DenseNet《Densely Connected Convolutional Networks》
要相信光
01-28 5229
DenseNet论文阅读
CNN经典模型之ALexNet、ResNet、DenseNet总结和比较
qq_43741419的博客
11-22 9264
ALexNet是现代深度CNN的奠基之作，也是第一个深度卷积神经网络。而ResNet模型是为了解决深层次的神经网络的退化问题而提出，而残差思想本身也在一定程度上简化了模型的学习目标，使得模型训练更容易。DenseNet网络则是在ResNet的基础上，提出来的层与层的密集连接思想，并且因为实现和加强了特征重用，一定程度上减少了参数数量。
Residual dense network for intensity-guided depth map enhancement
02-08
The depth maps captured by sensors always suffer from low resolution and random noise. Recently, by introducing the guidance from the color image, deep convolutional neural network (DCNN) shows significant improvements for depth map enhancement. However, most DCNN-based methods do not make full use of multi-scale guidance from the color image, thereby achieving sub-optimal performances. In this paper, we propose a novel DCNN to progressively reconstruct the high-resolution depth map guided by th
【文章阅读】【超解像】--Residual Dense Network for Image Super-Resolution
happyday_d的博客
12-31 2300
【文章阅读】【超解像】–Residual Dense Network for Image Super-Resolution 论文链接：https://arxiv.org/pdf/1802.08797.pdf code：https://github.com/yulunzhang/RDN 1.主要贡献 ​ 本文作者结合Residual Black和Dense Black提出了RDN(Residual ...
2024-04-22-Residual Dense Network和Residual Feature Aggregation Network
qq_40723205的博客
04-22 509
The motivation of RDB and RFA is that the hierarchical feature representations should be fully used to learn local patterns.A RFA module contains several residual modules and mainly aggregates features from the residual branches. In contrast, the RDB colle
超分算法RDN：Residual Dense Network for Image Super-Resolution 超分辨率图像重建
qq_45122568的博客
04-11 5591
这篇文章总结分析了ResNet 和DenseNet的优缺点，并将其结合，提出了新的结构ResidualDenseNet。文章中对ResNet 和DenseNet以及MemNet都进行了简单的对比分析。四篇原文都放在下面。 参考文档： RDN：https://arxiv.org/pdf/1802.08797v2.pdf ResNet：https://arxiv.org/pdf/1512.03385.pdf DenseNet：https://arxiv.org/pdf/1608.06993.pdf MemNe.
Deep Residual Network实验复现
Mr. Mao的专栏
08-07 2560
本文是对ImageNet 2015的冠军ResNet(Deep Residual Networks)以及目前围绕ResNet这个工作研究者后续所发论文的总结，主要涉及到下面5篇论文。 1. Link: Highway Networks: Rupesh Kumar Srivastava, Klaus Greff, Jürgen Schmidhuber 2. Link: Deep
第J4周：ResNet与DenseNet结合--DPN
weixin_46559155的博客
02-02 1782
前面实现了ResNet和DenseNet的算法，了解了它们有各自的特点：ResNet：通过建立前面层与后面层之间的“短路连接”（shortcu），其特征则直接进行sum操作，因此channel数不变；DenseNet：通过建立的是前面所有层与后面层的紧密连接（dense connection），其特征在channel维度上的直接concat来实现特征重用（feature reuse），因此channel数增加；
超分之RDN
Ton的博客
04-25 4525
这篇文章提出了一种结合ResNet结构和DenseNet结构的深度超分网络——Residual Dense Network(后文简称RDN)。RDN基于Residual Dense Block(后文简称RDB)块以及全局残差连接来提取全局特征，而RDB块基于Dense结构和局部残差连接进一步提取局部特征。通过这种结构，作者最大化利用了LRLRLR不同层级的特征，在当时取得了SOTA的表现力。 Note： 这篇文章和RCAN是同一批作者。 参考文档： 转载于博主暖风博文：超分算法RDN ResNet .
Res-DenseNetSegmentation模型调试记录
weixin_30633405的博客
03-10 278
参考：https://blog.youkuaiyun.com/AbstractSky/article/details/76769202 　　　https://blog.youkuaiyun.com/jsliuqun/article/details/62418778 一、函数记录 1、glob.glob(“图片路径”) 用于将数据集里图片路径储存到列表里 2、np.fliplr（矩阵） 翻转矩阵左右 1 ...
残差网络的发展路Resnet+ResNext+Densenet+DPN
qq_996686006的博客
05-05 1596
文章目录ResNet网络图代码实验结果ResNeXt网络图代码实验结果DenseNet网络图代码实验结果Dual Path Networks网络图代码实验结果 ResNet ResNet是著名的神经网络，网络中的残差块更是广为人知，如下图，残差块的公式为y=F(x)+xy=F(x)+xy=F(x)+x，xxx为输入，F(x)F(x)F(x)代表的则是卷积操作。 网络图 残差块两种主要模块如下图：左边的是浅层Resnet架构，右边的深层Resnet架构，11层负责先降维和升维（考虑到训练时间），这样33层的
ResNet、EfficientNet、DenseNet和YOLO的对比
最新发布
07-18
### ResNet vs EfficientNet vs DenseNet vs YOLO: 深度学习模型性能、结构和应用场景对比 #### 1. **ResNet（Residual Network）** ResNet 是一种深度残差网络，通过引入“残差块”（residual block）的概念解决了深度神经网络中的梯度消失问题。其核心思想是通过跳跃连接（skip connection）将输入直接传递到后面的层，从而允许网络学习恒等映射。这种设计使得网络可以达到数百甚至上千层，而不会出现性能退化的问题[^1]。 - **结构特点**： - 残差块（包含跳跃连接）。 - 通常使用 1×1、3×3 和 5×5 的卷积核组合来提取特征。 - 在 ImageNet 数据集上表现出色，尤其在分类任务中具有较高的精度。 - **性能**： - ResNet 在多个基准数据集上取得了领先的性能，尤其是在大规模图像分类任务中。 - 训练效率较高，但由于网络较深，计算资源消耗较大。 - **应用场景**： - 图像分类。 - 目标检测（与 Faster R-CNN 等结合）。 - 语义分割。 #### 2. **EfficientNet（Efficient Neural Network）** EfficientNet 是一种高效的卷积神经网络架构，旨在通过复合缩放方法（compound scaling）在模型大小、计算成本和性能之间取得平衡。它通过统一地缩放网络的深度、宽度和分辨率来实现这一点。 - **结构特点**： - 使用 MBConv（Mobile Inverted Bottleneck Convolution）模块，结合了深度可分离卷积和线性瓶颈层。 - 采用复合缩放方法，同时调整网络的深度、宽度和分辨率。 - 引入了 Squeeze-and-Excitation（SE）模块，用于增强特征表示能力。 - **性能**： - 在 ImageNet 数据集上，EfficientNet 在精度和计算效率之间达到了良好的平衡。 - 与 ResNet 相比，EfficientNet 的参数量更少，推理速度更快，适合部署在资源受限的设备上。 - **应用场景**： - 移动端和嵌入式设备上的图像分类。 - 需要高效推理的任务，如实时视频分析。 - 医疗影像分析等需要高精度但资源有限的场景。 #### 3. **DenseNet（Densely Connected Convolutional Networks）** DenseNet 是一种密集连接的卷积神经网络，其核心思想是每一层都与前面的所有层直接相连。这种设计有助于缓解梯度消失问题，并促进特征复用。 - **结构特点**： - 每一层的输出都作为后续所有层的输入。 - 通过密集连接减少了信息传播的距离，增强了特征传递。 - 使用瓶颈层和压缩因子来减少计算量。 - **性能**： - DenseNet 在图像分类任务中表现出色，尤其是在 CIFAR 和 SVHN 数据集上。 - 由于密集连接的设计，DenseNet 的参数量相对较少，但计算成本较高。 - **应用场景**： - 图像分类。 - 医疗影像分析。 - 自然语言处理中的序列建模任务。 #### 4. **YOLO（You Only Look Once）** YOLO 是一种实时目标检测算法，其核心思想是将目标检测问题转化为一个回归问题，直接预测边界框和类别概率。YOLO 的设计使其能够在保持高精度的同时实现快速推理。 - **结构特点**： - 单次前向传播即可完成目标检测，无需生成候选框。 - 将图像划分为网格单元，每个单元负责预测边界框和类别概率。 - 使用锚框（anchor boxes）来提高检测精度。 - **性能**： - YOLO 在实时目标检测任务中表现出色，推理速度远超两阶段检测器（如 Faster R-CNN）。 - 精度略低于两阶段检测器，但通过后续版本（如 YOLOv5、YOLOv8）的改进，精度和速度都得到了显著提升。 - **应用场景**： - 实时视频监控。 - 自动驾驶中的目标检测。 - 无人机和机器人导航。 --- ### 模型对比总结 | 模型 | 结构特点 | 性能优势 | 典型应用场景 | |------------|--------------------------------------------------------------------------|-----------------------------------------------|---------------------------------------| | **ResNet** | 残差块设计，跳跃连接解决梯度消失问题 | 高精度，适合大规模图像分类 | 图像分类、目标检测、语义分割 | | **EfficientNet** | MBConv 模块，复合缩放方法平衡模型大小和性能 | 高效推理，适合资源受限设备 | 移动端图像分类、实时视频分析 | | **DenseNet** | 密集连接设计，特征复用 | 高精度，参数量少 | 医疗影像分析、自然语言处理 | | **YOLO** | 单次前向传播，锚框设计 | 实时推理，适合目标检测 | 实时视频监控、自动驾驶、无人机导航 | --- ### 相关代码示例 #### ResNet 简单实现 ```python import torch import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, in_channels): super(ResidualBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(in_channels) self.conv2 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(in_channels) def forward(self, x): residual = x x = torch.relu(self.bn1(self.conv1(x))) x = self.bn2(self.conv2(x)) x += residual return torch.relu(x) class ResNet(nn.Module): def __init__(self, num_classes=10): super(ResNet, self).__init__() self.model = nn.Sequential( nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3), nn.MaxPool2d(kernel_size=3, stride=2, padding=1), ResidualBlock(64), ResidualBlock(64), nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(64, num_classes) ) def forward(self, x): return self.model(x) ``` #### YOLO 简单实现（简化版） ```python import torch import torch.nn as nn class YOLOv3(nn.Module): def __init__(self, num_classes=80): super(YOLOv3, self).__init__() self.backbone = nn.Sequential( nn.Conv2d(3, 32, kernel_size=3, padding=1), nn.LeakyReLU(0.1), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.LeakyReLU(0.1), nn.MaxPool2d(2, 2), # 更多层可以继续添加 ) self.head = nn.Conv2d(64, (5 + num_classes) * 3, kernel_size=1) # 假设每个网格有3个锚框 def forward(self, x): x = self.backbone(x) return self.head(x) ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值