论文阅读：Residual-Guide Network for Single Image Deraining

最新推荐文章于 2023-03-22 22:54:07 发布
最新推荐文章于 2023-03-22 22:54:07 发布
阅读量926 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： 文献阅读 图像处理 文章标签： 计算机视觉 神经网络 机器学习 图像去雨 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wang_chaochen/article/details/107619894

又是一篇基于残差学习的论文，出自厦大丁兴浩老师团队。也是较早之前看的，回过头再看一遍。

2018 ACMMM： ResGuideNet

本文主要提出了一种残差指导特征融合网络ResGuideNet，利用较浅模块生成的残差来指导更深的模块，最终对不同模块的输出进行特征融合，完成单幅图像的去雨。
在这里插入图片描述

具体地讲，ResGuideNet主要是提出了一种级联网络，使用较浅模块生成的残差来指导较深模块，据此可以随着模块深度的增加能够得到负残差的由粗到细的一个估计。同时不同模块的输出融合到最终的重建模块。采用了递归卷积来构建每个模块，并对所有中间结果进行监督。这样在减少了参数的同时也实现了良好的性能。

主要思想阐述：

现有方法存在问题：

1、现有方法的雨纹去除模型大多数在单一模型中学习负残差，这些模型需要使用大量的参数进行精心设计来捕捉雨纹的不同模式。
2、大多数使用欧氏距离进行优化的方法会产生模糊的预测，因为每像素的损失不像人类视觉感知那样接近输出图像和GT图像之间的感知差异。
3、资源匮乏的模型无法满足去雨任务的各种需求，复杂雨图无法通过简单的模型完成处理。

本文主要思想：

1、每个模块都包含了一个全局捷径(global shortcut)来预测残差。
2、将预测的残差从较浅的块连接到较深的块，较浅的残差可以指导更深的预测，以生成更细化估计。
3、对所有中

最低0.47元/天 解锁文章

200万优质内容无限畅学
TPAMI 2024 | 基于小波近似感知残差网络的单图像去雨
小白学视觉
09-09 756
在基于深度卷积神经网络（CNNs）的单图像去雨方面已经取得了巨大进展。大多数现有的深度去雨方法中，CNNs 旨在学习从雨图像到干净无雨图像的直接映射，并且它们的架构变得越来越复杂。然而，由于雨水与物体边缘和背景混合的限制，很难分离雨水和物体/背景，图像的边缘细节在重建过程中无法有效恢复。为了解决这个问题，我们提出了一种新颖的小波近似感知残差网络（WAAR），在该网络中，雨水在每个级别的低频结构和高频细节中都被有效去除，特别是在每个级别的低频子图像中。
DCANet: Dual Convolutional Neural Network with Attentionfor Image Blind Denoising
mytzs123的博客
01-14 1643
然而，对于纹理复杂的图像，很难获得具有高辨别能力的特征[26]。与现有的基于双重CNN的去噪模型（如BRDNet[14]和DualCNN[36]）相比，我们提出的双重网络被设计为拥有更大的感受野，这允许网络捕获更多的上下文信息。已经证实，在双CNN中使用不同的子网络可以提高整个网络的性能，因为两个不同的分支可以学习互补的特征[14，34，35]。受对偶网络结构和注意力机制在图像去噪中的成功启发，本文提出了一种有效的具有注意力机制的对偶CNN用于图像盲去噪，称为DCANet，它可以实现有竞争力的盲去噪性能。
论文简读：Residual-Guide Network for Single Image Deraining
claire2003的博客
03-22 229
通过使用级联网络将模型分块，将预测的残差从较浅的块连接到较深的块，通过递归计算，生成由粗到精的估计，逐步预测高质量的重建，合并所有中间重建输出形成最终结果。在这些任务中，通常会将不同层次的特征信息结合起来，比如将浅层和深层卷积层的特征融合在一起，或者将不同尺度的特征图融合在一起，以提高模型的准确性和鲁棒性。【改进】本文构建了一个单一且可分离的网络，可以处理不同的雨天条件，针对低级视觉任务也可使用，通过由浅块到深块的引导可以获得对负雨痕残差的由粗略到精细的估计，结合所有的中间结果以获得最终结果。
【文章阅读】【超解像】--Residual Dense Network for Image Super-Resolution
happyday_d的博客
12-31 2235
【文章阅读】【超解像】–Residual Dense Network for Image Super-Resolution 论文链接：https://arxiv.org/pdf/1802.08797.pdf code：https://github.com/yulunzhang/RDN 1.主要贡献 ​ 本文作者结合Residual Black和Dense Black提出了RDN(Residual ...
论文阅读：Multi-Scale Progressive Fusion Network for Single Image Deraining
wang_chaochen的博客
11-23 6177
坐得住凳子。 2020CVPR：MSPFN 这篇文章是2020CVPR的一篇文章，作者来自武汉大学。文章主要结合金字塔结构、信道注意力机制进而协同地表示出多尺度的雨纹信息，提出了一种MSPFN网络。 代码：戳我 本文主要提出了一种多尺度渐进融合网络(MSPFN)。 对于雨的成像原理，由于雨和相机之间的距离不同，导致图片中的雨水会呈现出不同的模糊度和分辨率，因此可以利用多分辨率和多尺度之间的互补信息来表示雨纹。本文主要提出了一个框架从输入图像尺度和层次深度特征的角度，探讨了雨纹的多尺度协同表示，进而完成去雨
[图像去雨]--NASNet：A Neuron Attention Stage-by-Stage Net for Single Image Deraining附代码
weixin_42096202的博客
12-11 1271
跟FFA-Net一个训练框架的感觉，最大创新点是NA注意力，但是实现偏简单，准备试一试效果 摘要： 在复杂的降雨条件下拍摄的图像，能见度往往会明显下降。雨模式普遍引入了多样性能见度退化，包括雨条纹、雨滴和雨雾。现有的单幅图像去噪方法多集中在单一类型雨模型上，不具备很强的泛化能力。本文提出了一个新的端到端的神经元注意力一步一步地去雨网络NASNet，可以高效的处理所有带雨类型的图像。一方面，我...
【论文分享】Dual Heterogeneous Complementary Networks for Single Image Deraining 2022CVPR
Alex抱着爆米花的博客
09-27 746
文章借鉴了MPRNet的思想，网络更精简，贡献是....
NASNet
qq_43152949的博客
11-11 197
NASNet 1. Introduction 将NAS和任何其他搜索方法直接应用于大型数据在计算上是很昂贵的，我们建议在较小的代理数据集上搜索一个良好的体系结构，然后将所学的体系结构转移到ImageNet。我们搜索空间中的所有卷积网络都是由结构相同但权重不同的卷积层组成，因此，对最佳卷积结构的搜索简化为对最佳单元结构的搜索。寻找最佳的单元结构有两个主要好处，它比搜索整个结构要快的多，而且单元本省更...
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
论文阅读——Residual Attention Network for Image Classification
yayayamaomaoya的博客
07-18 605
发表位置： CVPR 发表时间： 2018 摘要 作者提出了一种通过堆积Residual attention network，该网络可通过堆积多个attention module构成, 在该网络结中, attention-aware feature随着网络深度的变化而自适应改变，在attention module内部自底向上、自顶向上的前馈结构，将前馈和反馈注意力过程展开为单个前馈过程。 背景 先前的文献，主要是针对the mixed nature of attention的研究。注意力不仅用于选择一个fo
基于深度学习的图像去雨（附tensorflow代码）
09-26
提出一种基于深度学习（卷积神经网络）的图像去雨框架，取得的效果优于已经存在的绝大多数方法
北大去雨算法python版
10-19
去雨算法的PYTHON实现， Rain streaks can severely degrade the visibility, which causes many current computer vision algorithms fail to work. So it is necessary to remove the rain from images. We propose a novel deep network architecture based on deep convolutional and recurrent neural networks for single image deraining. As contextual information is very important for rain removal, we first adopt the dilated convolutional neural network to acquire large receptive field. To better fit the rain removal task, we also modify the network. In heavy rain, rain streaks have various directions and shapes, which can be regarded as the accumulation of multiple rain streak layers. We assign different alpha-values to various rain streak layers according to the intensity and transparency by incorporating the squeeze-and-excitation block. Since rain streak layers overlap with each other, it is not easy to remove the rain in one stage. So we further decompose the rain removal into multiple stages. Recurrent neural network is incorporated to preserve the useful information in previous stages and benefit the rain removal in later stages. We conduct extensive experiments on both synthetic and real-world datasets. Our proposed method outperforms the state-of-the-art approaches under all evaluation metrics.
2022最新综述！稀疏数据下的深度图补全（深度学习/非引导/RGB引导）
CV_Autobot的博客
11-09 4645
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：Deep Depth Completion from Extremely Sparse Data: A Survey摘要获取正确的像素级场景深度在各种任务中发挥着重要作用，如场景理解、自动驾驶、机器人导航、同时定位和建图、智能农业...
Matlab神经网络十讲(4): Setup Parameters and Train CNN
沈春旭的博客
01-31 2808
1. Overview            After we define the layers of our network, the next step is to set up the training options for the network. Use thetrainingOptions function to set up the global ntraining para
【论文阅读】Non-locally Enhanced Encoder-Decoder Network for Single Image De-raining
Gillian_z
10-28 2185
概述 户外监控设备经常捕捉带有雨纹(rain streak)的图像，这可能会严重影响一些现有电脑视觉系统的表现。因此，自动去除雨纹成为计算机视觉和多媒体领域的重要研究课题，并已成功应用于无人驾驶技术和基于内容的图像编辑等领域。 对于单个图像的去雨处理，现有的基于深度学习的方法要么专注于网络的入口和出口,将输入图像分解为高和低频率信息，使用残差学习减小映射范围，要么引入级联学习(cascaded l...
GAN学习路线图：论文、应用、课程、书籍大总结
10-02 1806
GAN学习路线图：论文、应用、课程、书籍大总结 新智元7月8日 新智元报道 来源：machinelearningmindset 编辑：大明 【新智元导读】想了解关于GAN的一切？已经有人帮你整理好了！从论文资源、到应用实例，再到书籍、教程和入门指引，不管是新人还是老手，都能有所收获。 本文是一篇关于GAN开源资源的一篇分类汇总贴。全文共分为论文、应用、...
阅读笔记(五)：Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
ytao_wang的博客
04-27 831
Dual Residual Networks文章中去雨线部分的阅读笔记 原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration 原文代码github 文章目录去雨线（Rain-streak Remova）网络设计DuRB-SRuRN-S损失函数数据集实验设置Exp...
计算机科学与技术论文智慧之美,信息科学与技术学院5篇论文被计算机多媒体领域国际顶级会议录用...
weixin_35516624的博客
06-24 328
近日，国际顶级会议ACM Multimedia2018公布录用结果，我校信息科学与技术学院王菡子教授等3个课题组共有5篇论文入选，在国内高校名列前茅。ACM Multimedia是计算机学科多媒体领域的顶级会议，被中国计算机学会(CCF)列为A类会议。与其他理工科学科不同，在全国学科评估中，唯有“计算机科学与技术”一级学科将CCF推荐的A类国际会议计入成果评估。ACM Multimedia有着严苛...
Gated Fusion Network for Single Image Dehazing
女王の专属领地
04-19 6955
动机    在dehaze的问题里，其需要解决两个问题，一个是由于大气光造成的颜色投射出现差异，一个是其传输过程中所造成的可视效果衰减。因此论文通过对原始图像进行处理，尽可能的分别恢复出其颜色投射、可视效果，同时由于可视效果太暗，再增加伽马矫正，将这三个图像和原始的image输入，这就是这篇论文的动机。 方法    网络的核心思想就是学习confidence特征图去处理从原始图像获得的...
Crnet: A detail-preserving network for unified image restoration and enhancement task
最新发布
02-28
### CRNet网络架构及其在图像修复和增强任务中的应用 CRNet是一种专为统一处理图像修复和增强任务而设计的深度神经网络结构[^1]。此网络旨在保留图像细节的同时执行多种类型的恢复操作，包括但不限于去噪、超分辨率重建以及色彩校正。 #### 网络组成要素 CRNet采用了多尺度特征提取模块(Multi-scale Feature Extraction Module)，该模块允许模型捕捉不同层次的空间信息。通过引入残差连接机制(residual connections)，使得深层网络更容易训练，并有助于保持输入信号的关键特性不受损失。 为了实现更精细级别的控制，CRNet还融入了注意力机制(Attention Mechanism)。这一部分的设计灵感来源于人类视觉系统的运作原理——即专注于某些特定区域而非均匀对待整个视野范围内的所有像素点。因此，在面对复杂场景时，算法能够更加智能地区分重要性和不重要的内容，从而提高最终输出质量。 ```python import torch.nn as nn class MultiScaleFeatureExtractor(nn.Module): def __init__(self, in_channels=3): super().__init__() self.conv1 = nn.Conv2d(in_channels, 64, kernel_size=3, padding=1) self.res_blocks = nn.Sequential(*[ ResidualBlock() for _ in range(8)]) # 使用多个残差块 def forward(self, x): out = F.relu(self.conv1(x)) return self.res_blocks(out) class AttentionModule(nn.Module): """简化版注意力模块""" pass class CRNet(nn.Module): def __init__(self): super(CRNet, self).__init__() self.feature_extractor = MultiScaleFeatureExtractor() self.attention_module = AttentionModule() def forward(self, input_image): features = self.feature_extractor(input_image) attended_features = self.attention_module(features) output = ... # 进一步处理得到最终结果 return output ``` 值得注意的是，尽管上述描述主要集中在CRNet对于静态图片的应用上，但其设计理念同样适用于动态影像序列的实时编辑与优化过程。此外，由于CRNet具备良好的泛化能力，所以在实际部署过程中往往不需要针对每种具体的退化模式都重新调整参数设置即可获得满意的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值