【论文阅读】U2Fusion: A Unified Unsupervised Image Fusion Network

链接：U2Fusion: A Unified Unsupervised Image Fusion Network | IEEE Journals & Magazine | IEEE Xplore

代码：GitHub - hanna-xu/U2Fusion: Code of U2Fusion: a unified unsupervised image fusion network for multiple image fusion tasks, including multi-modal, multi-exposure and multi-focus image fusion.​​​​​​

U2Fusion: A Unified Unsupervised Image Fusion Network

1.Introduction

研究背景：

- 图像融合在安全、工业和民用领域有着广泛应用。

- 由于硬件设备或光学成像的限制，使用一种类型的传感器或单一拍摄设置拍摄的图像只能捕获部分信息。

- 图像融合的目标是通过整合来自不同传感器或光学设置拍摄的几幅源图像的互补信息来生成综合图像。

现有方法存在问题：

- 传统框架限制在融合规则方面的选择，复杂的手动设计降低了性能提升的可能性。

- 端到端模型中，融合问题解决依赖于监督学习的ground truth或无监督学习的特定设计指标，缺乏普遍的ground truth或无参考度量标准。

研究方法：

- 提出了一种名为U2Fusion的统一无监督图像融合网络。

- 首先采用特征提取器从源图像中提取丰富和全面的特征。

- 测量特征中信息的丰富程度，定义了这些特征的相对重要性。

- 基于这些策略，训练DenseNet模块生成融合结果，无需ground truth。

创新：

- 通过修改信息保存度分配策略和改进损失函数等方面，提出了对信息保存度较好的策略。

- 将第一个任务从可见光和红外图像融合改为包括可见光-红外和医学图像融合的多模态图像融合。

- 在额外的公开数据集上验证了U2Fusion的有效性，并进行弹性权重合并(EWC)的消融研究。

应用前景：

- U2Fusion提供了一个统一的框架来解决各种图像融合任务，统一模型和统一参数。

- 解决了不同问题需要分开解决、存储和计算问题以及持续学习中的灾难性遗忘等缺点。

- 在多模式、多曝光和多焦点图像融合的六个数据集上进行测试，验证了U2Fusion的有效性和普适性。

2 RELATED WORK

2.1 Image Fusion Methods

2.1.1 Methods Based on Traditional Fusion Framework

1. 传统融合框架包括特征提取和特征融合两个关键因素，通过修改这两个因素可以设计用于解决多模态、多曝光或多焦点图像融合的方法。

2. 传统方法的特征提取理论基础包括多尺度变换、稀疏表示、子空间分析和混合方法四类，手动设计的特征提取