论文阅读：Multi-Scale Progressive Fusion Network for Single Image Deraining

最新推荐文章于 2025-06-11 21:14:16 发布
原创 最新推荐文章于 2025-06-11 21:14:16 发布 · 6.2k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #机器学习 #深度学习 #人工智能 #图像去雨

本文提出了一种名为MSPFN的多尺度渐进融合网络，用于图像去雨任务。该网络利用金字塔结构和信道注意力机制，从多尺度角度协同表示雨纹信息。通过递归计算和残差学习，网络能捕捉到雨纹的全局纹理信息，同时通过粗融合和细融合模块逐步融合特征。在损失函数上，采用了Charbonnier罚函数以避免过度平滑。此外，网络还在去雨任务的检测和分割评估中表现出色。

坐得住凳子。

2020CVPR：MSPFN

这篇文章是2020CVPR的一篇文章，作者来自武汉大学。文章主要结合金字塔结构、信道注意力机制进而协同地表示出多尺度的雨纹信息，提出了一种MSPFN网络。

代码：戳我
在这里插入图片描述
本文主要提出了一种多尺度渐进融合网络(MSPFN)。
对于雨的成像原理，由于雨和相机之间的距离不同，导致图片中的雨水会呈现出不同的模糊度和分辨率，因此可以利用多分辨率和多尺度之间的互补信息来表示雨纹。本文主要提出了一个框架从输入图像尺度和层次深度特征的角度，探讨了雨纹的多尺度协同表示，进而完成去雨。
对于不同位置的相似雨纹，采用了递归计算来获取全局纹理，从而探索空间维度上的互补和冗余信息来表征目标雨纹。此外，还构建了多尺度的金字塔结构，并进一步引入了注意机制来指导不同尺度的相关信息的精细融合。
多尺度渐进融合策略提高协同表示并促进端到端训练。

主要创新之处：

1、基于雨纹的相关性，通过挖掘不同尺度雨纹之间的互补信息，包括相似的外观组
成等，并通过循环计算，对雨纹分布进行更好的建模。
2、通过三个不同的模块CFM+FFM+RM，结合金字塔结构、信道注意力机制进而协
同地表示多尺度的雨纹信息，提出了MSPFN网络。
3、将去雨方法用于检测、分割进行全面的评估。

网络结构：

在这里插入图片描述

首先是通过高斯核进行下采样

最低0.47元/天 解锁文章
【DEIM创新改进】首发独家特征融合改进篇 | TGRS 2025 | 引入FFM特征融合模块，实现特征的全局交互与融合，适合小目标检测、助力DEIM有效涨点
Ai缝合怪、助力小伙伴高效发论文
11-01 125
本文提出一种跨模态特征融合模块(FFM)，用于提升DEIM目标检测模型在多源遥感图像任务中的性能。FFM采用多头跨注意力机制实现全局特征交互，通过特征校正模块(FCM)减少模态间差异和噪声。实验表明，该方法在WHU-OPT-SAR数据集上mIoU达到58%，OA为85.35%，显著优于现有方法。FFM具有轻量化设计（可调节下采样率R）、强非线性建模能力，同时保持较低计算开销。核心创新包括：1）并行双分支结构提取多模态特征；2）空间/通道维度特征校正；3）深度学习驱动的互补信息挖掘机制。
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
热门推荐
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
深度学习——Multi-Scale Progressive Fusion Network for Single Image Deraining
weixin_51352656的博客
12-18 2120
CVPR2020论文：Multi-Scale Progressive Fusion Network for Single Image Deraining 1.主要内容：提出了多尺度渐进融合网络。实现了单幅图像去雨。该网络通过金字塔表示的方式，利用多尺度图像信息呈现雨纹特征。 例如，右边是原始尺度图像，左边是1/2尺度图像。文章指出，同一个尺度图像中，不同位置的雨纹具有相似的结构特征； 不同尺度的图像中，相同位置的雨纹亦有相似的结构特征。因此，我们可以提取、融合多尺度的图像信息，来获取雨纹的特征。 为了更
Progressive Feature Fusion Networkfor Realistic Image Dehazing笔记及代码
正在thu实习搬砖的CVer，欢迎交流保研和计算机视觉。 ​
03-28 800
Progressive Feature Fusion Networkfor Realistic Image Dehazing笔记及代码 来源 Asian Conference on Computer Vision2018 CCF c类会议 摘要 提出一个端到端的网络结构 提出了一种基于渐进特征融合的U-Net类编码器-解码器网络，直接学习从观测到的模糊图像到无模糊图像的高度非线性变换函数（不依赖大气散射模型）。 提出的方法 本文提出了基于U-Net的渐进式网络，它由编码器、特征转换器、解码器三个模块组成
MSPFN:用于单图像排水的多尺度渐进融合网络
05-06
用于单图像排水的多尺度渐进融合网络（MSPFN） 这是TensorFlow提出的MSPFN模型（）中提出的模型的实现。 要求 的Python 3 TensorFlow 1.12.0 OpenCV tqdm 球状 系统 动机 降雨图像及其多尺度版本（多尺度金字塔图像）中雨条纹的重复样本可以携带补充信息（例如，相似的外观）以表征目标雨条纹。 我们在一个统一的框架中从输入图像尺度和深层神经网络表示中探索多尺度表示，并提出一种多尺度渐进融合网络（MSPFN），以利用跨尺度的雨条纹的相关信息进行单幅图像排水。 用法 一，训练MSPFN模型 数据集组织形式 如果准备自己的数据集，请遵循以下形式：| --train_data |--rainysamples |--file1 ： |--file2 : |--filen
[2020CVPR]Multi-Scale Progressive Fusion Network for Single Image Deraining
什么都学不会
12-21 1628
用于单幅图像去雨的多尺度渐进融合网络概括创新不足模型粗融合模块（CFM）细融合模块（FFM）雨条纹重建模型（RM）损失函数均方误差边缘损失总损失函数实验结果 原文 代码 概括 文章主要结合金字塔结构、信道注意力机制进而协同地表示出多尺度的雨纹信息，提出了一种MSPFN网络。 对于雨的成像原理，由于雨和相机之间的距离不同，导致图片中的雨水会呈现出不同的模糊度和分辨率，因此可以利用多分辨率和多尺度之间的互补信息来表示雨纹。本文主要提出了一个框架从输入图像尺度和层次深度特征的角度，探讨了雨纹的多尺度协同表示，进而
图像条纹检测 python_MSPFN：用于单图像去雨的多尺度渐进融合网络（CVPR2020）
weixin_39781209的博客
12-10 941
Multi-Scale Progressive Fusion Network for Single Image Deraining论文下载：Multi-Scale Progressive Fusion Network for Single Image Deraining代码开源：kuihua/MSPFN表现SOTA！性能优于PreNet、SEMI和RESCAN等网络，代码即将开源！作者团队：武汉大...
论文翻译：2023_THLNet: two-stage heterogeneous lightweight network for monaural speech enhancement...
凌逆战的博客
03-21 1621
论文地址：THLNet: 用于单耳语音增强的两级异构轻量级网络 代码：https://github.com/dangf15/THLNet 引用格式：Dang F, Hu Q, Zhang P. THLNet: two-stage heterogeneous lightweight network for monaural speech enhancement[J]. arXiv preprint...
derain survey
T5A_318的博客
10-28 599
图像分解： 使用双边滤波将图像分解为低频和高频部分，分别包含图像的结构和纹理，然后对高频部分根据HOG特征（方向直方图）进行聚为2类（雨纹和背景纹理），对两个部分进行稀疏编码来实现基于MCA方法的图像分解效果。最后将高频部分的结合分量与低频部分进行积分得到去雨后的图像。 联合区域网络： 解决： 1. ACM模型区域导致的背景模糊 2.不同方向的雨纹叠加 .3,雨累积形成的雨雾降低了背景和雨纹变的可见度 创新： 1.HRM模型 2.迭代去雨 Removing rain fr..
TIP 2024 | 用于单图像去雨的多尺度融合与分解网络
最新发布
小白学视觉
06-11 110
卷积神经网络（CNN）和自注意力机制（SA）在低层视觉任务中表现出色，如图像超分辨率、去雨和去雾。CNN擅长获取具有平移等变性的局部连接，而SA则更擅长捕捉长距离依赖关系。然而，CNN和Transformer各自存在局限性，如CNN的有限感受野和弱多样性表示，以及SA的低效率和弱局部关系学习。为此，作者提出了一种多尺度融合与分解网络（MFDNet），用于去除雨扰动，该网络结合了这两种架构的优点，同时保持了高效性和有效性。
论文简读：Residual-Guide Network for Single Image Deraining
claire2003的博客
03-22 251
通过使用级联网络将模型分块，将预测的残差从较浅的块连接到较深的块，通过递归计算，生成由粗到精的估计，逐步预测高质量的重建，合并所有中间重建输出形成最终结果。在这些任务中，通常会将不同层次的特征信息结合起来，比如将浅层和深层卷积层的特征融合在一起，或者将不同尺度的特征图融合在一起，以提高模型的准确性和鲁棒性。【改进】本文构建了一个单一且可分离的网络，可以处理不同的雨天条件，针对低级视觉任务也可使用，通过由浅块到深块的引导可以获得对负雨痕残差的由粗略到精细的估计，结合所有的中间结果以获得最终结果。
论文阅读：Residual-Guide Network for Single Image Deraining
wang_chaochen的博客
07-28 965
又是一篇基于残差学习的论文，出自厦大丁兴浩老师团队。也是较早之前看的，回过头再看一遍。 2018 ACMMM： ResGuideNet 本文主要提出了一种残差指导特征融合网络ResGuideNet，利用较浅模块生成的残差来指导更深的模块，最终对不同模块的输出进行特征融合，完成单幅图像的去雨。 具体地讲，ResGuideNet主要是提出了一种级联网络，使用较浅模块生成的残差来指导较深模块，据此可以随着模块深度的增加能够得到负残差的由粗到细的一个估计。同时不同模块的输出融合到最终的重建模块。采用了递归卷积来构
论文笔记-MSFM: Multi-scale Fusion Module for Object Detection
Lyndsey的博客
11-20 1823
论文阅读计划的第15天 一、研究背景 目标检测要求检测器使用边界框定位图像中的对象，并为每个对象分配正确的类别。目标检测的关键挑战之一是协调解决两个子任务，即定位和分类。定位要求网络准确捕捉对象的位置，而分类则要求网络提取对象的语义信息。 特征融合有利于双重目标检测任务。一方面，当来自浅层和深层的高分辨率和低分辨率特征被融合时，细节和位置信息可以与语义信息相结合。另一方面，可以在不同的尺度上检测对象，提高了框架的健壮性。 二、研究内容 本文提出了一个多尺度融合模块(MSFM)，它从一个单一的输入中提取细节和
探索雨滴的艺术：MSPFN - 单图像去雨神器
gitblog_00018的博客
06-11 524
探索雨滴的艺术：MSPFN - 单图像去雨神器 在这个开放源代码的世界里，我们有幸能接触到创新的技术和算法，它们可以解决一些看似棘手的图像处理问题。今天要向大家推荐的就是一个专门用于单图像去雨的深度学习模型——Multi-Scale Progressive Fusion Network（MSPFN）。这个模型来源于论文《Multi-Scale Progressive Fusion Network ...
【亲测免费】 探索图像去雨新境界：多尺度渐进融合网络（MSPFN）
gitblog_00026的博客
06-11 563
探索图像去雨新境界：多尺度渐进融合网络（MSPFN） 1、项目介绍 MSPFN 是一个基于TensorFlow实现的单张图片去雨模型，它源自论文《Multi-Scale Progressive Fusion Network for Single Image Deraining》。这个开源项目旨在解决在恶劣天气下，图像中雨水对视觉效果的影响，使得图像处理和计算机视觉应用能在雨天环境下正常运行。 2、...
300+篇CVPR 2020代码开源的论文，全在这里了
yishuihanq的博客
06-17 1万+
300+篇CVPR 2020代码开源的论文，全在这里了！ CVPR 2020代码开源项目一放出，得到不少CVers的关注，重点是：开源和根据方向分类。目前star数已经来到2000+，期间也有不少国内外的CVPR 2020论文作者提交issue，分享他们的工作。 在此再次更新数据，代码开源的论文突破300+，项目还在持续更新，欢迎补充分享，也推荐大家学习： https://github.com/amusi/CVPR2020-Code 注：下面内容很硬核，可以在CVer公众号后台回复：CV..
【深度学习|特征增强融合模块】FeatureAggregationModule (FAM) 双边语义分割模型中的空间语义融合模块升级
985小水博的摸鱼日常
11-29 1894
【深度学习|特征增强融合模块】FeatureAggregationModule (FAM) 双边语义分割模型中的空间语义融合模块升级
MSPFN 代码复现
学无止境。
02-07 367
MSPFN 代码复现
【无标题】
qq_49533912的博客
04-14 3120
用于实时语义分割的双分割网络（BiseNet） 摘要 介绍 相关工作 BiseNet 摘要 语义分割需要丰富的信息空间和较大的接受区域。然而，现代方法通常会牺牲空间分辨率来实现实时推理速度，这导致了信息的匮乏。在这篇文章中，我们用一种新颖的双边分割网络（BiseNet）来解决这个难题。我们首先设计一个小步幅的SP网络来保存空间信息并生成高分辨率的特征，使用CP(Context Path)采用快速下采样的策略来获取足够的接受域，在这两种方法的基础上，我们引入了一个新的特征融合模块去有效的结合特征。提出的架构
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
03-31
### Mamba-UNet 架构及其在医学图像分割中的应用 Mamba-UNet 是一种基于纯视觉模型的架构设计，专为医学图像分割任务而优化。它继承了 U-Net 的经典编码器-解码器结构，并通过引入创新性的模块来提升性能和效率。 #### 1. Mamba-UNet 的核心架构特点 Mamba-UNet 结合了 Vision Transformer 和卷积神经网络的优势，在保持高效计算的同时增强了特征提取能力。其主要特性如下： - **双流特征融合机制** Mamba-UNet 利用了多尺度特征图之间的交互作用，通过跨层连接实现更深层次的信息传递[^1]。这种设计显著提升了模型对复杂边界区域的理解能力。 - **轻量化注意力模块** 在传统 U-Net 基础上，Mamba-UNet 集成了高效的自注意力机制，用于捕捉全局上下文信息。这使得模型能够更好地处理具有较大形变的目标对象。 - **渐进式下采样策略** 不同于标准 U-Net 中固定的池化操作，Mamba-UNet 使用了一种动态调整步幅的方法来进行逐级降维。这种方法可以减少不必要的细节损失并保留更多语义信息。 #### 2. 应用场景与优势分析 Mamba-UNet 主要应用于医疗领域内的高精度图像分割任务，例如肿瘤检测、器官轮廓描绘以及细胞分类等。以下是该方法的一些具体应用场景及对应优点： - **脑部 MRI 图像分割** 对于大脑组织切片数据集而言，由于不同灰质白质区域之间存在模糊过渡带，因此需要极高分辨率才能区分细微差异。Mamba-UNet 凭借强大的局部感知能力和长距离依赖建模功能成功解决了这一难题。 - **肺结节 CT 扫描识别** 肺部影像通常伴有大量噪声干扰项，这对任何算法都构成了严峻挑战。然而借助精心设计的空间金字塔池化单元，再加上残差学习路径的支持，最终实现了稳健可靠的预测效果。 ```python import torch from torchvision import models class MambaUNet(torch.nn.Module): def __init__(self, num_classes=1): super(MambaUNet, self).__init__() # Encoder layers with progressive downsampling strategy self.encoder = [ torch.nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1), ... ] # Decoder layers incorporating lightweight attention modules self.decoder = [ torch.nn.ConvTranspose2d(128, 64, kernel_size=2, stride=2), ... ] self.final_conv = torch.nn.Conv2d(64, num_classes, kernel_size=1) def forward(self, x): skip_connections = [] for layer in self.encoder: x = layer(x) skip_connections.append(x) for i, layer in enumerate(self.decoder): x = layer(x) x += skip_connections[-i-1] output = self.final_conv(x) return output ``` 上述代码片段展示了如何构建一个简化版的 Mamba-UNet 模型框架。实际部署过程中可能还需要进一步调优参数配置以适应特定需求环境下的表现指标要求。 #### 总结 综上所述，Mamba-UNet 提供了一个灵活且有效的解决方案来应对现代医学成像技术所带来的各种新问题。凭借独特的体系结构改进措施，不仅提高了整体运行速度还兼顾到了准确性方面的要求。
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值