【红外与可见光图像融合】A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion

本文改进了损失函数，使得损失项的权重系数可以自适应调整(可学习的)。
网络部分就是提取了多尺度信息，不同尺度之间在特征融合阶段有交互，融合阶段使用了空间和通道dual attention，基于IR和VIS提取的特征不同，将（L+1）层的 IR 图像上采样到 L 层，与L层的VIS图像相加，做一个信息补充，然后使用注意力机制进行加权。

1、Motivation以及Contribution

一般使用像素强度信息去约束热辐射信息的保留，使用梯度信息来约束纹理细节信息。
作者提到了一些方法在特征提取部分使用残差连接或者密集连接来捕获纹理细节，但这并没有充分的提取互补信息，这一点在红外图像融合中尤其关键。
现有方法在计算损失函数和特征融合模块中都很少使用互补信息度量。

使用多尺度信息与人眼视觉特征类似，融合结果可以从高级表征中获得上下文信息，从低级表征中获得细节信息。

高分辨率特征更有利于测量和保留细节信息，而低分辨率特征可以准确测量像素强度分布

1. 通过统计方法有效测量红外和可见光图像的互补信息，并对损失函数中每一项产生自适应权重系数，约束融合结果与输入图像对的差异，量化各模态重要信息的保留程度
2. 我们设计了一个用于红外和可见光图像融合的多尺度双注意(MDA)框架，该框架利用像素强度和纹理细节信息从多个空间尺度上的不同模态提取特征。在损失函数中引入互补信息测量，提高了融合图像的热辐射和细节特征的保存。
3. 设计了基于空间和通道注意机制的双注意融合块，通过注意图确定重要空间区域和通道重要性，进行多尺度特征融合

MDA获取互补信息，style loss使得融合结果保持与IR图像相同的像素强度分布。

2、网络结构