红外与可见光图像融合所读框架

1、IFCNN:

      首先，我们使用两个卷积层从多个输入图像中提取信息丰富的低级特征。其次，通过适当的融合策略 (例如元素最大和元素平均) 将提取的每个输入图像的卷积特征进行元素融合。最后，通过两个卷积层重建集成特征以生成融合图像。由于所提出的模型是完全卷积的，因此可以使用任何后处理过程以端到端的方式对其进行训练，与大多数现有的图像融合模型相比，这是一个优越的优势。此外，为了充分训练所提出的模型，我们创建了一个大规模的多焦点图像数据集，通过根据随机深度范围从我们预先构建的NYU-D2数据集中模糊部分图像，这比模糊整个或某些部分的图像块更合理 。NYU-D2数据集中的源RGB图像可以作为我们数据集的地面真相融合图像，这比没有地面真相融合图像要好得多。由于上述优点，我们的高分辨率大规模多焦点图像数据集可用于精细训练图像融合模型。

2、U2Fusion网络结构

 U2Fusion 网络流程图，虚线表示损失函数中使用的数据 I1和I2表示源图像，训练 DenseNet以生成融合图像If。

       DenseNet用于生成融合结果 If   .其中输入是I1和I2的级联。因此，它是一个端到端的模型，不需要设计融合规则。U2Fusion 中 DenseNet 的架构由 10 个层组成，每个层都有一个卷积，然后是一个激活函数。所有卷积层的内核大小设置为 3×3，步长设置为 1。在卷积之前使用反射填充以减少边界伪影。没有使用池化层来避免信息丢失。前九层中的激活函数是 LeakyReLU，斜率设置为 0.2，而最后一层的激活函数为 tanh。此外，研究已经证明，如果在接近输入和接近输出的层之间建立更短的连接，则神经网络可以更深入和有效地训练。因此，在前七层中，使用来自密集连接的 CNN 的密集连接块来提高信息流和性能。在这些层中，以前馈方式在每个层和所有层之间建立快捷直接连接，如图中的级联操作所示。这样，可以减少梯度消失的题。同时，可以在减少参数数量的同时进一步加强特征传播。特征图的通道都设置为 44。随后的四个层逐渐减少特征图的通道，直到达到单通道融合结果。

3、FusionDN实验方法

       给定两幅单通道源图像I1和I2，由于不同类型图像中的重要信息差异很大，作为一个统一的框架，很难预先确定要提取和融合的特征。针对这种情况，我们不再设计特征提取和重建方法，而是从一个新的角度根据不同源图像的特性来确定融合图像中不同源图像特征的保留程度。由于这种保留程度随特定源图像而变化，因此我们的方法是一种数据驱动的方法，通过应用两个数据驱动的权重，即ω1和ω2。它们是由图像的特定属性决定的，而不是人为预先设定的。如图所示，权重块用于生成不同源图像的权重，然后将其输入DenseNet的损失函数。训练DenseNet根据权重和子损失函数提取和重构源图像的特征。

        在评估每个源图像的权重时，主要考虑的是保留权重较高的图像中质量较高的信息。例如，它体现在可见光图像中相对于相应红外图像噪声更小的区域，多焦图像中景深范围内外观更清晰的物体，多曝光图像中亮度更合适、畸变更小的物体等，如图所示。因此，为了评估每个源图像中包含的信息的质量，用于图像质量评估的深度神经网络(IQA)来实现评估。例如，它评估源图像质量是否由于高斯模糊、噪声、压缩和不同强度的局部块方向扭曲等问题而下降。此外，由于原始高质量图像难以获得或根本不存在，我们采用无参考(NR)模型代替全参考模型。然后，我们可以得到I1和I2的两个图像质量分数分别为IQA1和IQA2。

4、PIA网络架构

       给定一幅红外图像Iir和一幅可见光图像Ivi，通过特征提取、融合和重构可以生成融合图像If。为了提高融合性能，我们设计了一个光照感知的损失来约束上述三个步骤。渐进式照明引导的红外和可见光图像融合网络如图所示。

      有五个卷积层特征提取器,旨在充分提取互补和共同的特征。首先,1×1卷积层的目的是减少红外和可见图像模态区别。因此,第一层分别为红外和可见图像。之后,四个卷积层共享重量用来提取红外和可见图像的深度特性。值得注意的是，第二、第三和第四层的输出之后是CMDAF模块，以交换模态互补特征。CMDAF模块使我们的网络能够以渐进的方式在特征提取阶段集成互补信息。因此，我们的特征提取器可以完整地提取红外和可见光图像的共同和互补特征。给出了特征提取器中所有卷积层的更多细节，例如内核大小、输出通道和激活函数。

5、SEAFusion网络结构

      为了实现实时图像融合，提出了一种基于GRDB的轻量级红外与可见光图像融合网络，如图所示。我们的融合网络由特征提取器和图像重建器组成，其中特征提取器包含两个GRDB以提取细粒度特征。  如图所示，特征提取器包括两个并行的红外和可见光特征提取流，并且每个特征提取流包含公共卷积层和两个GRDB。采用核大小为3 × 3、激活函数为Leaky校正线性单元（Leaky Rectified Linear Unit，LReLU）的普通卷积层提取浅层特征。紧接着是两个GRDB，用于从浅层特征中提取细粒度特征。GRDB的具体设计如图4所示。梯度剩余稠密块是resblock的变体，其中主流采用密集连接，而残差流集成梯度操作。  

        梯度残差密集块的具体设计。选择Sobel算子作为梯度算子来提取特征图的细粒度细节信息。

       从图中我们可以观察到，主流部署了两个3 × 3的卷积层和一个普通的卷积层，卷积层的核大小为1 × 1。需要强调的是，我们在主流中引入了密集连接，充分利用了各个卷积层提取的特征。残差流采用梯度运算计算特征的梯度大小，并采用1 × 1规则卷积层消除信道维数差异。然后，通过逐元素加法将主0密集流和残差梯度流的输出相加，以集成深度特征和细粒度细节特征。然后，采用拼接策略对红外和可见光图像的细粒度特征进行融合，并将融合结果送入图像重构器，实现特征聚合和图像重构。该图像重建器由三层3 × 3卷积层和一层1 × 1卷积层组成。所有3 × 3卷积层都使用LReLU作为激活函数，而1 × 1卷积层的激活函数是Tanh。众所周知，在图像融合任务中，信息丢失是一个灾难性的问题。因此，我们的融合网络中的填充被设置为相同，并且除了1 × 1卷积层之外，跨距被设置为1。结果表明，该网络不引入任何降采样，融合后的图像大小与源图像一致。

6、PSAFusion网络架构

      该框架输出的三个输出分别对应三种任务，分别是边缘分割，二进制分割和语义分割，这三类输出公用一个S2PM，是不是也就是说S2PM提取的语义信息要同时满足这三类任务，也就可以理解为S2PM提取的语义信息不是为了单个任务设计的，而是包含了多个任务所通用的语义信息。这种通用的信息相比于针对单个具体任务提取的语义信息来说，更适合其他任务。

7、融合结果