图像融合论文阅读：ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion-优快云博客

本文链接：https://blog.youkuaiyun.com/jiexiang5396/article/details/135201085

该研究介绍了一种名为ReCoNet的模型，针对未对齐和计算消耗高的图像融合问题。它包含微型配准模块预测形变场和一个循环并行膨胀卷积层，以提高效率和准确性。论文还探讨了双相循环融合模块和新型配准损失函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@inproceedings{huang2022reconet,
title={Reconet: Recurrent correction network for fast and efficient multi-modality image fusion},
author={Huang, Zhanbo and Liu, Jinyuan and Fan, Xin and Liu, Risheng and Zhong, Wei and Luo, Zhongxuan},
booktitle={European Conference on Computer Vision},
pages={539–555},
year={2022},
organization={Springer}
}

论文级别：ECCV 2022
影响因子：-

📖[论文下载地址]
💽[代码下载地址]

📖论文解读

大多数现有方法无法处理轻微【错位】图像（即未对齐、配准）且【计算消耗较高】，为了解决这两个问题，作者提出了ReCoNet，该模型分别使用【变形模块】来补偿未配准问题，使用【注意力机制】减轻重影伪影问题。同时，该网络包含了一个【循环运行的并行膨胀卷积层】，显著降低空间和计算复杂度。

🔑关键词

Deep learning · Multi-modality image fusion
深度学习，多模态图像融合

💭核心思想

训练了一个微型配准模块（ $\mathcal R$ ）预测输入图像的变形场，解决问题1
设计了一个循环并行扩张卷积层（PDC），解决问题2

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下所示。一眼看过去有点乱，其实很清晰。右上角是最核心的流图，左上角得到未配准图像，左下角是微配准模块用来配准图像，正下方是循环融合模块。
在这里插入图片描述

🪢微配准模块 $\mathcal R$ （Micro Registration Module）

在这里插入图片描述

微配准模块可以解决因为几何畸变或者缩放引入的微配准误差，由两部分组成：形变场预测网络 $\mathcal R_\phi$ 和重采样层 $\mathcal R_s$ 。
在形变场预测网络 $\mathcal R_\phi$ 中，形变场 $\phi$ 用于表示形变，实现了图像的非均匀精确映射。
给定一个红外图像 $x$ 和形变可见光图像 $\tilde y$ ， $\mathcal R_\phi$ 用于预测形变场 ${\phi _{\tilde y \to y}} = {\mathcal R_\phi }\left( {x,\tilde y} \right)$ ,描述了如何非刚性的对齐到 $\tilde y$ 。
形变场 $\phi \in \mathbb R^{h×w×2}$ ，每对 ${\phi _{h,w}} = \left( {\Delta {x_h},\Delta {x_w}} \right) \in {^2}$ 表示在 $\tilde y$ 中 $(h, w)$ 处像素 $v_{h,w}$ 的形变偏移量。
为了对图像进行几何变换，使用重采样层 $\mathcal R_s$ 应用于由形变场预测网络 $\mathcal R_\phi$ 生成的形变场 ${\phi _{\tilde y \to y}}$ ，并将其应用于变形的可见光图像 $\tilde y$ 。
转换后的可见光图像 $\bar y$ 在像素 $v_{h,w}$ 处的值为：
在这里插入图片描述

🪢双相循环融合模块（Biphasic Recurrent Fusion Module）

在这里插入图片描述

随着网络深度加深，背景细节特征逐渐退化，以往的方法多采用加入注意力机制、密集连接、残差连接等方法。但是作者认为这种方法无法有效描述上下文信息。
基于此，作者提出了双相循环融合模块，在提高计算效率的同时，在多个尺度上充分表达了上下文特征。
该模块由最大池化、平均池化和无偏差的卷积层组成。取两幅图像中各个像素的【最大值和平均值，合并后】作为卷积层的输入：
在这里插入图片描述
$\mathcal A$ 表示双相注意力层， $I_a$ 和 $I_b$ 是两个输入图像， $*$ 是卷积操作， $\theta_\mathcal A$ 是卷积层的参数，如图所示，注意力图 $\sigma_x$ 和 $\sigma_y$ 由图像组 $\{x,u,\bar y\}$ 计算得出：

$\mathcal A_x$ 和 $\mathcal A_y$ 分别代表红外和可见光注意层， $u_i$ 表示最后一次递归的融合结果。

🪢并行扩张卷积层（parallel dilated convolutional layer）

其实就是不同膨胀因子的空洞卷积，并行运算后concat。如下图所示

参考链接
空洞卷积

在这里插入图片描述
用 $f_{in}^i$ 代表第i次迭代的扩张卷积层，逐步更新迭代并行空洞卷积层输出特征图 $f_{out}^i$ ：

在这里插入图片描述
上式中， $\theta_C^k$ 和 $b_C^k$ 代表膨胀因子为k时卷积层的参数和偏置。

🪢循环学习

作者提出了一个循环体系结构代替耗时的多层卷积，从粗到细提取上下文特征。
在这里插入图片描述

📉损失函数

总损失=融合损失+配准损失
在这里插入图片描述

上面的都是老生常谈，下面这个配准损失在之前的笔记里没有出现过，讲一下。

上式为：配准损失=相似损失+平滑损失
其中，相似损失和上面的SSIM不太一样：

${\phi _{\tilde y \to y}}$ 代表形变场。 ${\phi _{ y \to \tilde y}}$ 代表生成的随机形变场。【下标顺序不一样】

对于2维空间 $\Omega$ 的一个体素 $p$ ，平滑损失为：
在这里插入图片描述

🔢数据集

TNO ,RoadScene

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

🔬实验

📏评价指标

参考资料
✨✨✨强烈推荐必看博客 [图像融合定量指标分析]

🥅Baseline

DenseFuse, FusionGAN, RFN , GANMcC, MFEIF , PMGI , DIDFuse and U2Fusion

参考资料
[图像融合论文baseline及其网络模型]

🔬实验结果

在这里插入图片描述

更多实验结果及分析可以查看原文：
📖[论文下载地址]
💽[代码下载地址]

🚀传送门

如有疑问可联系：420269520@qq.com;
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~

图像融合论文阅读：ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion

文章目录

📖论文解读