基于域自适应的双光融合 _mk-mmd损失-优快云博客

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢获取更多信息和资源。✨✨🌙🌙

本文所有资源均可在该地址处获取。

引言

红外和可见光图像融合的目标是将红外图像和可见光图像的互补信息结合起来，以实现更全面的环境感知。这意味着通过融合两种类型的图像，可以获得比单独使用任何一种图像更丰富的场景信息。

红外图像在夜间监控和目标检测等低光环境下表现优异。这是因为红外图像能够捕捉到热辐射，这种辐射不受可见光照明条件的限制，因此可以在完全黑暗或光线不足的环境中“看到”物体和场景。

可见光图像保留了丰富的细节和色彩，提供了清晰的现场表示。这是因为可见光图像捕捉的是人眼可以看到的光谱范围，因此它们能够提供与人类视觉感知相似的图像，包括颜色和纹理等细节。

将这两种模态的图像融合起来可以弥补各自的局限性。例如，红外图像虽然能在夜间“看见”，但缺乏色彩信息；而可见光图像虽然色彩丰富，但在低光环境下表现不佳。通过融合，可以结合红外图像的夜间监控能力和可见光图像的细节和色彩信息，从而提供更完整的环境理解。

尽管融合的优势明显，但由于成像原理、分辨率和光谱响应的差异，保持关键信息的一致性成为一个主要挑战。这意味着在融合过程中，需要找到一种方法来确保两种图像中的关键特征（如边缘、纹理和轮廓）能够被准确地结合在一起，而不是相互冲突或丢失。

现有的图像融合方法大致分为三类：

传统方法：如像素级或特征级融合方法，这些方法通过简单的规则进行融合，计算效率高，易于实现，但无法充分利用红外和可见光图像的互补信息，导致融合效果有限。
变换域方法：如小波变换和拉普拉斯金字塔技术，这些方法通过将图像分解为不同的频率成分来保留细节，但在重建过程中可能丢失关键的模态特定特征，难以同时保留全局结构和细节纹理。
基于深度学习的方法：近年来，深度学习方法取得了显著进展，如卷积神经网络（CNN）和生成对抗网络（GAN）。这些方法能够通过学习模态间的非线性关系，生成视觉质量更高的融合图像。然而，深度学习方法通常需要大量标注数据，这在数据稀缺时成为限制因素。此外，在保持全局结构和细节纹理方面仍然存在挑战。

为了更好地对齐红外和可见光图像的潜在特征空间，论文《DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion》提出了一种域自适应的双分支特征分解融合网络（DAF-Net）。该方法通过引入多核最大均值差异（MK-MMD）来减少红外和可见光图像之间的分布差异，从而提高融合图像的质量。

DAF-Net的基础编码器基于Restormer网络，负责捕捉全局结构信息；细节编码器基于可逆神经网络（INN），负责提取细节纹理信息。MK-MMD仅在基础编码器中应用，以确保全局特征的一致性，避免局部细节的过度对齐和模态特定信息的丢失。该结构使得DAF-Net能够在全局结构和细节保留之间取得平衡。

DAF-Net

DAF-Net由一个编码器-解码器分支和一个基于混合核函数的域自适应层组成。

编码器-解码器分支

编码器-解码器分支是DAF-Net网络架构的核心部分，负责提取和重建图像特征。以下是编码器-解码器分支的详细解释：

编码器部分

编码器部分由三个主要层次组成：共享特征层、基础编码器和细节编码器。

共享特征层：
这一层基于Transformer架构，用于处理输入的红外和可见光图像。它提取图像的浅层特征，这些特征是后续编码过程的基础。共享特征层的输出表示为 YSI=ES(I)YSI=ES(I) 和 YSV=ES(V)YSV=ES(V)，其中 ES(⋅)ES(⋅) 表示共享编码器，II 和 VV 分别代表红外和可见光图像。
基础编码器：
基础编码器使用Restormer块构建，目的是捕获图像的全局结构信息。它接收共享特征层的输出，并进一步提取更深层次的特征。基础编码器的输出表示为 YBI=EB(YSI)YBI=EB(YSI) 和 YBV=EB(YSV)YBV=EB(YSV)，其中 EB(⋅)EB(⋅) 表示基础编码器。
细节编码器：细节编码器基于INN（Invertible Neural Networks）块构建，专注于提取图像的细节纹理信息。它同样接收共享特征层的输出，并提取细节特征。细节编码器的输出表示为 YDI=ED(YSI)YDI=ED(YSI) 和 YDV=ED(YSV)YDV=ED(YSV)，其中 ED(⋅)ED(⋅) 表示细节编码器。