【IVIF】CS2Fusion: Contrastive learning for Self-Supervised infrared and visible image fusion by estim

原创

于 2024-06-25 22:13:30 发布 · 1.3k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #计算机视觉 #人工智能 #图像处理

虽然是顶刊Information fusion，但没给代码，鉴定为shi（希望作者快看到我，然后教训我）

1、摘要/Motivation

在红外与可见光图像融合（IVIF）中，利用图像级信息建立的先验知识约束往往会忽略源图像特征之间的同一性和差异性，无法充分利用红外图像对可见光图像的信息互补作用。为此，本研究开发了基于对比学习的自监督融合模型（CS2Fusion）：
将红外图像视为可见光图像的补充，并开发了补偿感知网络（CPN），通过估计红外图像的特征补偿图来引导骨干网络生成融合图像。该方法的核心思想基于以下观察结果：

Motivation

(1) 不同模态之间的语义信息通常存在显著差异；
(2) 尽管语义差异较大，但**同一模态特征之间的自相关特征和显著性特征的分布往往相似。**基于这些观察结果，我们使用自相关和显著性操作（SSO）来构建正负对，在对比度损失的约束下，驱动 CPN 感知红外图像相对于可见光图像的互补特征。CPN 还加入了自我监督学习机制，通过随机裁剪可见光图像中的斑块来模拟视觉受损区域，从而提供同一场景的更多不同信息，**形成多个正样本，**以增强模型的精细感知能力。此外，我们还在骨干网络中设计了需求驱动模块（DDM），在图像重建中主动查询改善层间信息，进而整合更多空间结构信息。值得注意的是，作为辅助网络的 CPN 仅用于训练，以驱动骨干网络以自我监督的形式完成 IVIF。

根据我们的观察，源特征之间存在着同一性和差异性：
(1）红外图像与可见光图像在语义信息上不同，它们在潜在特征空间中的特征表示相距甚远，因此互为负样本；【域间特征】
（2）对于同源特征（由同一传感器捕获），虽然整体语义信息相距甚远，但自相关特征和显著性特征的分布应该相同，即这些同源特征在潜在特征空间中的特征表示相互接近。【说的是域