论文阅读:Fast Single Image Rain Removal via a Deep Decomposition-Composition Network

提出一种基于分解-合成网络的去雨新方法DDCNet,有效去除单幅图像雨纹,网络由分解和合成两部分组成,前者分离背景与雨层,后者提升分解质量,同时保持模型轻巧。

这是一篇基于分解-组成网络的去雨方法,是一篇SCI二区的文章CVIU吧,天津大学的李思源是作者。同样他还发了一篇2019年的CVPR,提出了一个benchmark。

2019 CVIU:DDC Net

本文所提出网络的主要思想是将雨图先分解成雨层和背景层,然后再进行合成作为分解的输入,提高分解网络分解的质量。
在这里插入图片描述

本篇文章主要是设计了一种新颖的端到端多任务学习结构,减少了输入到输出的映射范围,提高了性能。
首先是设计了一个分解网络,将雨图分解成干净的背景层和雨层,该模型除了包含一个表示所需的干净图像的成分,还包含一个表示雨层的额外成分。
在训练阶段,我们进一步采用合成结构将分离出来的干净图像和雨水信息重新生成输入,以提高分解质量。

主要创新之处:

1、设计提出了一种新的深度分解合成网络(DDC-Net),可以在不同条件下有效地去除单幅图像中的雨纹等。
2、网络由分解网络和合成网络组成。分解网络用于将雨图分解成清晰的背景层和雨层,合成网络是将分解网络中分离出来的两层重新生成输入的雨图。进一步提升分解质量,同时还能保持模型体积小,性能良好。模型明确地考虑了雨层的恢复精度。
3、根据屏幕混合模式,不是简单的加和,合成了一个新的数据集包含10400个[雨水图像,干净的背景,雨水信息]。测试阶段只需要分解网络。

网络结构:

在这里插入图片描述

由网络结构,可以看出整体网络主要是基于一个编解码网络。
在分解网络部分,将含雨图像在编码器部分分解成清晰的背景和雨层,

在RGB-红外目标检测中,为了提升多模态信息的融合效果,采用从粗到细的融合方法(Coarse-to-Fine Fusion)是一种有效的策略。这一方法的核心思想是模拟人类大脑在处理多模态信息时的过滤与选择机制,即先除干扰信息,再进行特征的精细选择,从而实现互补特征的有效融合[^1]。 ### 冗余光谱除(RSR)模块 在“粗”阶段,设计了冗余光谱除(Redundant Spectrum Removal, RSR)模块。该模块通过将图像转换到频域空间,并引入动态滤波器,以自适应地减少RGB和IR模态中不相关的频谱。这样可以初步过滤掉不必要的冗余信息,保留对目标检测有帮助的关键频谱[^1]。例如,在频域中应用动态滤波器时,可以通过以下代码实现频谱的自适应调整: ```python import numpy as np import cv2 def apply_dynamic_filter(image): # 将图像转换为频域 f = np.fft.fft2(image) fshift = np.fft.fftshift(f) # 动态滤波器设计 rows, cols = image.shape crow, ccol = rows // 2, cols // 2 mask = np.ones((rows, cols), np.uint8) mask[crow - 30:crow + 30, ccol - 30:ccol + 30] = 0 # 动态调整滤波区域 # 应用滤波器 fshift_filtered = fshift * mask f_ishift = np.fft.ifftshift(fshift_filtered) img_back = np.fft.ifft2(f_ishift) img_back = np.abs(img_back) return img_back ``` ### 动态特征选择(DFS)模块 在“细”阶段,设计了动态特征选择(Dynamic Feature Selection, DFS)模块,用于在RGB和IR模态之间精细选择所需的特征。该模块通过探索不同尺度特征的组合,权衡对象检测所需的不同尺度信息,从而进一步提升检测性能。DFS模块能够根据任务需求,自适应地选择最相关的特征,确保最终融合的特征具有更强的判别能力[^1]。 ### 除与选择检测器(RSDet) 为了验证该融合策略的有效性,构建了一个新的目标检测框架——除与选择检测器(Removal and Selection Detector, RSDet)。该框架嵌入了从粗到细的融合策略,能够在RGB-红外目标检测任务中实现更优的性能表现。在多个公开的RGB-红外检测数据集上的实验结果表明,RSDet能够有效促进互补融合,并达到了当前最先进的性能水平[^3]。 ### 改进方向 为了进一步提升RGB-红外目标检测的效果,可以从以下几个方面进行改进: - **更精细的频谱分析**:在RSR模块中引入更复杂的频谱分析方法,例如基于深度学习的频谱注意力机制,以提高频谱过滤的精度。 - **多尺度特征融合**:在DFS模块中引入多尺度特征金字塔网络(Feature Pyramid Network, FPN),以更好地捕捉不同尺度的目标特征。 - **端到端优化**:将整个融合过程设计为端到端可训练的结构,使RSR和DFS模块能够协同优化,提升整体检测性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值