论文阅读：FusionGAN: A generative adversarial network for infrared and visible image fusion

图像强

已于 2023-12-18 14:50:27 修改

阅读量2.5k

点赞数 20

分类专栏：图像融合文章标签：论文阅读图像处理深度学习人工智能 python

于 2023-12-17 20:31:46 首次发布

本文链接：https://blog.youkuaiyun.com/jiexiang5396/article/details/135049109

版权

图像融合专栏收录该内容

40 篇文章

订阅专栏

该篇文章介绍了一种基于生成对抗网络（GAN）的图像融合方法FusionGAN，它能生成同时包含红外图像热辐射和可见光图像纹理的融合图像，通过对抗训练优化生成器和判别器，避免了手工设计融合规则。实验使用了TNO数据库，评估指标包括熵、标准差、SSIM、CC和VIF。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@article{ma2019fusiongan,
title={FusionGAN: A generative adversarial network for infrared and visible image fusion},
author={Ma, Jiayi and Yu, Wei and Liang, Pengwei and Li, Chang and Jiang, Junjun},
journal={Information fusion},
volume={48},
pages={11–26},
year={2019},
publisher={Elsevier}
}

[论文下载地址]

📖论文解读

🔑关键词

Image fusion, infrared image, visible image, generative adversarial network, deep learning.
图像融合，红外图像，可见光图像，生成对抗网络，深度学习

💭核心思想

使用GAN实现红外与可见光图像融合（infrared and visible image fusion，VIF）。

具体来说，生成器的目标是产生具有较大红外强度和附加可见梯度的融合图像，判别器的目标是迫使融合图像拥有更多可见图像中的细节。通过这种方法，可以生成同时具有红外图像中显著目标和可见光图像纹理细节的融合图像。
此外，FusionGAN是一个端到端的模型，因此省略了手工设计活动水平测量和融合规则的步骤。
而且，FusionGAN可以融合不同分辨率的图像，如高分辨率的可见光图像和低分辨率的红外图像。

ps. 这是【第一篇】将GAN用于图像融合任务的论文

参考链接
[一文看懂「生成对抗网络 - GAN」基本原理+10种典型算法+13种应用]
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的FusionGAN网络结构如下图所示。
总结构
作者将红外与可见光图像融合问题公式化为一个对抗问题。首先将红外图像 $I_r$ 和可见光图像 $I_v$ 在通道维度上拼接在一起，将拼接图像输入生成器 $G_{\theta G}$ ，生成器 $G_{\theta G}$ 的输出为融合图像 $I_f$ 。
因为此时还没有引入判别器 $D_{\theta D}$ ，所以融合图像更倾向于保留红外图像 $I_r$ 中热辐射信息以及可见光图像 $I_v$ 的梯度信息。
然后，将融合图像 $I_f$ 和可见光图像 $I_v$ 输入到判别器 $D_{\theta D}$ 中，使判别器学习区分融合图像和可见光图像。这个过程不断循环，融合图像 $I_f$ 逐渐包含越来越多的可见光图像 $I_v$ 中的细节信息。
训练过程如上图左所示，测试过程如上图右所示。

训练过程
在此过程中，一旦判别器 $D_{\theta D}$ 无法有效区分生成器 $G_{\theta G}$ 生成的融合图像 $I_f$ ，此时就得到了期望的融合图像 $I_f$ 。
测试过程
在此过程中，只将红外图像 $I_r$ 和可见光图像 $I_v$ 输入到【训练好的】生成器 $G_{\theta G}$ 中，得到的融合图像 $I_f$ 就是最终的融合结果。

🪢生成器 $G_{\theta G}$ 结构

生成器结构
因为下采样会导致信息的丢失，所以作者没有引入下采样层。

🪢判别器 $D_{\theta D}$ 结构

判别器结构

📉损失函数

作者提出的损失函数主要由两部分组成：生成器 $G_{\theta G}$ 的损失函数和判别器 $D_{\theta D}$ 的损失函数。

📉生成器 $G_{\theta G}$ 的损失函数 $\mathcal L_G$

在这里插入图片描述
$\mathcal L_G$ 代表损失值， $V_{FusionGAN}(G)$ 代表生成器 $G_{\theta G}$ 和判别器 $G_{\theta D}$ 之间的对抗损失。如下式：

$I_f^n$ 代表第n个融合图像，N代表融合图像总数。c是生成器希望判别器对【假数据】（即融合图像）的相信值。
第二项 $\mathcal L_{content}$ 代表内容损失， $\lambda$ 用于平衡 $V_{FusionGAN}(G)$ 和 $\mathcal L_{content}$ 。
因为红外图像热辐射信息由像素强度表征，红外图像纹理细节信息由梯度表征。作者希望融合图像 $I_f$ 具有与红外图像 $I_r$ 相同的强度以及与可见光图像 $I_v$ 相同的梯度。所以内容损失 $\mathcal L_{content}$ 定义为：
在这里插入图片描述
H和W为图像高和宽（像素）， $_f$ 表示矩阵弗罗贝尼乌斯范数（matrix Frobenius norm），∇是梯度算子，ξ是一个用于权衡两项的正参数。
【用人话说，matrix Frobenius norm就是矩阵所有对应元素的平方和再开方，具体定义可以类比向量的L2范数】

参考资料
[弗罗贝尼乌斯范数（Frobenius norm）]
[Frobenius norm(Frobenius 范数)]

上式括号内第一项是为了使红外图像 $I_r$ 中热辐射信息保留在融合图像 $I_f$ 中
上式括号内第二项是为了使可见光图像 $I_v$ 中梯度信息保留在融合图像 $I_f$ 中

大家可能会有疑问，只使用生成器 $G_{\theta G}$ 就可以得到融合图像 $I_f$ 了，为什么还需要判别器 $G_{\theta D}$ 呢？
作者给出的解释是，的确可以直接得到保留热辐射信息和梯度信息的融合图像，但是这并不够，因为可见光图像中的纹理细节不能完全被梯度表示（在后续实验中作者进行了验证）。

📉判别器 $D_{\theta D}$ 的损失函数 $\mathcal L_D$

在这里插入图片描述
a和b分别代表融合图像 $I_f$ 和红外图像 $I_r$ 的标签， $D_{\theta D}(I_v)$ 和 $D_{\theta D}(I_f)$ 分别代表对可见光图像和融合图像的分类结果。
作者使用了最小二乘损失函数，服从皮尔逊 $χ^2$ 散度最小化。这种方法可以让训练过程更稳定，同时使判别器 $D_{\theta D}$ 收敛速度更快。

🔢数据集

从TNO数据库中选取45对不同场景的红外-可见光图像对，步长为14切分为120*120像素的图像，共64381对图像。
像素值归一化至[-1, 1]
选取m对图像作为生成器 $G_{\theta G}$ 训练数据，填充至132×132，作为生成器的输入，输出120×120的融合图像
选取m对图像作为判别器 $D_{\theta D}$ 的输入。融合图像标签a是0至0.3的随机数，可见光图像标签b是0.7至1.2的随机数，标签c也是0.7至1.2的随机数。（标签abc都不是特定的数字，即“软标签”）