《ReCoNet: Recurrent Correction Network forFast and Efficient Multi-modality Image Fusion》论文讲解-优快云博客

用于快速高效多模态图像融合的递归校正网络

一、摘要

近年来，深度网络在红外与可见光图像融合(IVIF)中得到了极大的关注。然而，现有的大多数方法都不能处理源图像上的微小错位，并且存在计算和空间开销较高的问题。针对这两个关键问题，本文提出了一种用于鲁棒且高效融合的递归纠错网络，即ReCoNet。具体地说，我们设计了一个形变模块来显式补偿几何失真，并设计了一个注意力机制来减轻重影伪影。同时，该网络由一个并行的膨胀卷积层组成，并以递归的方式运行，显著降低了空间和计算的复杂性。ReCoNet可以有效和高效地缓解因轻微未对齐而带来的结构扭曲和纹理伪影。在两个公共数据集上的广泛实验表明，我们的ReCoNet比最先进的IVIF方法具有更高的准确性和有效性。结果表明，在有错位的数据集上，CC算法的相对性能提高了16%，效率提高了86%。

二、存在的问题

1、现有图像融合方法中，一种模态上的轻微移位或变形会在图像结构上带来明显的几何失真，并在纹理细节区域中产生类似重影的伪影

2、最先进的方法需要大的空间来存储大量的网络参数，并且滞后于真实的时间运行，尽管深度方法比传统方法加速融合有很大的裕度。主要瓶颈在于，这些深度必须堆叠多层卷积块才能学习红外和可见光图像共享的共同特征，这些图像在外观上存在显着差异。与此同时，训练这些庞大的网络需要大量的图像对，而实际上是无法获得的。

三、解决办法

本研究通过开发一种循环光网络来解决这两个关键问题，该网络可以有效地校正由未对准带来的结构失真和纹理伪影。具体来说，我们训练了一个微配准模块（R）来预测输入图像之间的变形场。该模块明确地校正由像素移位引起的几何结构上的失真。我们还从两种模态（σir和σ维斯）中学习注意力地图，发现各自输入中的显著区域。因此，可见输入中的纹理在融合过程中权重更大，同时区分由空间偏移引起的高频重复图案，从而隐含地衰减重影伪影。为了提高效率，我们设计了一个并行扩张卷积层（PDC），它可以学习具有多尺度感受野的上下文信息。我们训练这个简单PDC层的一组参数，并循环运行网络（F），在图3的融合工作流中级联注意力和轻量级PDC模块。这种循环过程节省了网络参数的空间，并迭代地提高融合质量。图1表明，与现有技术相比，我们的方法在两个公共可用数据集上实现了更高的数值分数，更低的计算成本和更少的参数。我们总结了我们的主要贡献如下：

（1）据我们所知，这是第一个联合学习深度网络的工作，用于中波红外和可见光图像的配准和融合，这使得生成的图像对源的未对准具有鲁棒性。

（2）我们设计了一个变形模块来明确地补偿几何失真和一个注意力机制来减轻剩余的鬼影状伪影。这种设计适当地解决了两种不同类型的不期望的效果分别发生在给定场景的结构和纹理区域。

（3）我们开发了一个并行的膨胀卷积层和一个循环机制，大大降低了空间和计算的复杂性。

四、提出的方法

1、动机

在现实场景中，由于不可克服的内外部因素，像素级配准的红外和可见光图像不可用。如图2所示，我们展示了真实收购中经常出现的三个典型因素。(i)在大多数封装器件中，假设内部系统已经工作了很长时间或处于高温内部环境中，互补金属氧化物半导体（CMOS）会在图像中产生噪声。(ii)对于服务器环境，在沙漠和热带森林中，热气流的折射会引起源图像的严重失真。(iii)崎岖不平的道路、快速移动的物体或非同步多视觉相机可能会使源图像退化[45]，例如，运动模糊和传输。一个模态上的轻微移位或变形会带来明显的几何失真;很少有现有方法可以克服这些问题，因为它们只对像素级配准对进行融合。在此基础上，我们提出了一种实现IVIF的递归校正网络，该网络具有足够的能力来处理瞄准偏差源输入。