陈嘿萌的博客

本文系统整理了当前主流的红外与可见光图像融合数据集，涵盖 MSRS、RoadScene、M3FD、TNO、LLVIP、FMB、FLIR、MFNet、KAIST、PST900、HDO、MMVS、DVTOD、AWMM-100k、EMS、INO 和 M3SVD 等多个高质量数据源，分别介绍其数据构建团队、参考论文、下载链接及关键特征，包括图像数量、分辨率、退化类型和标注信息。该博客旨在为图像融合研究者提供全面、便捷、持续更新的数据集参考平台。

采用目标检测、实例分割和深度估计的下游任务来验证图像融合结果质量。

多模态图像融合从不同模态的图像中整合互补的信息，提供一个完整和客观的场景理解。现阶段的多模态图像融合难以在真实传感器下抵抗不同天气下的干扰，阻碍了在实际应用自动驾驶中发挥作用。为了解决这个研究空白，提出了一个各种天气条件下的多模态图像融合模型。由于深度学习是一个黑盒，因此限制了多任务的解决能力。deweathering模块，我们提出了一个物理感知的清晰特征感知模块，基于大气散射模型能够从不同的场景照明和深度中推理出透射率的变换。融合模型中，我们利用一个可学习的低秩表示模型来分解图像低秩和稀疏组成。

图像融合从多源图像中整合必要信息成单张图像，强调显著性的结构和纹理，精炼不足的区域。现有的方法主要是识别像素级和语义视觉特征。然而在深度语义信息之外的文本信息探索不足。因此，我们定义了一个创新的范式佳作FILM（Fusion via vIsion-LanguageModel），首先利用提取不同原图像的文本信息去指导融合。输入的图像首先处理后去生成语义提示，然后喂到ChatGPT中去获得丰富的语义描述。