图像融合论文阅读：SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion

图像强

已于 2023-12-19 16:30:57 修改

阅读量3k

点赞数 23

分类专栏：图像融合文章标签：论文阅读图像处理论文笔记深度学习人工智能

于 2023-12-19 16:25:37 首次发布

本文链接：https://blog.youkuaiyun.com/jiexiang5396/article/details/135072133

版权

图像融合专栏收录该内容

40 篇文章

订阅专栏

@article{zhang2021sdnet,
title={SDNet: A versatile squeeze-and-decomposition network for real-time image fusion},
author={Zhang, Hao and Ma, Jiayi},
journal={International Journal of Computer Vision},
volume={129},
pages={2761–2785},
year={2021},
publisher={Springer}
}

论文级别：SCI A2/Q1
影响因子：19.5

📖[论文下载地址]

💽[代码下载地址]

📖论文解读

这篇论文的作者团队其他的论文FusionGAN、DDcGAN、DeFusion、U2Fusion、SeAFusion、SwinFusion……
[Jiayi Ma (马佳义)教授-谷歌学术]
[(马佳义)]
好厉害，膜拜大佬

🔑关键词

Image fusion 图像融合
Real time 实时
Adaptive 自适应
Proportion 比例
Squeeze decomposition 压缩分解

💭核心思想

💭思想核心

图像融合任务可以认为是梯度和强度的提取和重建
损失函数= 梯度项（加入了自适应决策块）+强度项（权重设置策略）
将压缩分解思想引入图像融合，即通过分解过程来优化压缩过程
- 源图像->融合图像（压缩过程）
- 融合图像->源图像（分解过程）
SDNet与自编码器网络结构很相似

💭详细核心

作者提出了【压缩分解网络(squeeze-and-decomposition network ，SDNet)】来【实时】处理【多模态图像融合（VIF,PET-MRI）】和【数字图像融合（多聚焦、多曝光）】。图像融合问题可以理解为【梯度】和【强度】信息被【提取】和【重建】的过程。同时作者还设计了由梯度项和强度项组成的损失函数。

在梯度项中，引入了【自适应决策块】
- 【自适应决策块】可以根据【像素尺度】上的【纹理丰富程度】，来确定【梯度分布】的【优化目标】，这样可以在融合结果中保留更多的纹理细节
在强度项中，通过【调整】每个【强度损失项】的【权重】。因此可以完成多种图像融合任务。

此外，作者将【压缩分解】引入图像融合中，不仅考虑了源图像到融合图像的压缩过程，还考虑了融合图像到源图像的分解过程。这样做是因为图像分解的质量直接与融合图像挂钩，也因此可以从分解的反方向来约束融合，从而生成更好的融合效果。

💭思想扩展

该论文的先前版本：
[Rethinking the Image Fusion: A Fast Unified Image Fusion Network based on Proportional Maintenance of Gradient and Intensity]
下图为本论文先前版本PMGI的网络结构图。
论文先前版本结构图

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网路结构如下图所示。
在这里插入图片描述

📉损失函数

损失函数由【压缩函数损失 $\mathcal L_{sf}$ 】【分解连贯损失 $\mathcal L_{dc}$ 】两部分组成：
在这里插入图片描述

📉压缩函数损失

压缩函数损失决定了提取信息的类型以及重建过程中各类信息的主次关系。由【梯度损失 $\mathcal L_{grad}$ 】【强度损失 $\mathcal L_{int}$ 】组成：
在这里插入图片描述
$\beta$ 是平衡系数，设置为10，80，50和3

📉梯度损失

梯度损失 $\mathcal L_{grad}$ 想让融合图像拥有更丰富的纹理细节。作者在梯度损失里加入了【自适应决策块】来指导融合图像纹理与源图像对应位置的最强纹理保持一致：
在这里插入图片描述
i和j代表决策图或梯度图第i行第j列的像素，H和W为图像的高和宽， $I_1$ 和 $I_2$ 为源图像， $I_{fuse}$ 为融合图像。∇(·)代表使用拉普拉斯算子计算梯度图。S(·)为决策块基于源图像梯度计算的决策图。
决策块原理图如图3所示。
在这里插入图片描述
为了降低噪声对梯度的影响，首先将源图像进行高斯低通滤波，然后使用拉姆拉斯算子计算梯度图，并根据梯度大小在像素尺度上生成决策图。决策图生成过程可公式化为：

|·|是绝对值操作。∇(·)是拉普拉斯操作。L(·)是高斯低通滤波。min(·)最小。sign(·)符号函数。
注意：决策图的大小也是H×W。

📉强度损失

强度损失 $\mathcal L_{int}$ 用于指导融合图像保留像素强度信息，同时还可以是融合图像整体风格更真实自然。强度损失公式为：
在这里插入图片描述
$\alpha$ 的比例设置策略与图像融合类型有关：本文设置为0.5或1

多模态图像融合
融合图像的强度分布往往偏向于某一特定的源图像，如VIF中偏向红外图像，PET-MRI偏向PET。因此：
数字图像融合
该类型图像彼此具有很强的互补性，没有高低贵贱。因此：

📉分解连贯损失

在这里插入图片描述
$I_{1\_de}$ 和 $I_{2\_de}$ 分别代表融合图像的分解结果1和2。 $I_1$ 和 $I_2$ 是源图像。

🔢数据集

PET-MRI：Harvard，裁剪为120×120
VIF ：TNO，裁剪为120×120
MEIF：来自 Learning a deep single image contrast enhancer from multi-exposure images，裁剪为120×120
MFIF：来自Multi-focus image fusion using dictionary-based sparse representation，裁剪为60×60