【论文阅读】Text-IF: Leveraging Semantic Text Guidance for Degradation-Aware and Interactive Image Fusion

Text-IF: Leveraging Semantic Text Guidance for Degradation-Aware and Interactive Image Fusion

现有方法存在的问题

受环境条件限制，原始采集的红外和可见光图像可能会出现劣化，融合图像质量较低。可见光图像容易受到退化问题的影响，例如低光、过度曝光等。红外图像不可避免地受到噪声（包括热噪声、电子噪声和环境噪声）、对比度降低和其他相关影响的影响。当前的融合方法缺乏自适应解决退化问题的能力，导致融合图像质量低下。依靠手动预处理来增强图像存在灵活性和效率问题。

本文贡献

1.为了适应复杂的退化条件，我们解决了图像融合和退化的综合问题 -有意识的处理。它突破了图像融合质量提升的限制。

2.我们引入了语义交互引导模块来融合文本和图像的信息。该方法不仅实现了多模态图像融合，而且实现了多模态信息融合。

3.所提出的方法最终增加了定制融合结果的自由度。它提供了交互式融合，可以生成更灵活、高质量和用户所需的结果，而无需事先具备专业知识或预定义规则。

研究方法

问题表述

一般的图像融合方法将图像融合任务表述为以两个源图像（例如，Ivis、Iir）作为输入和融合网络（例如，θn）以获得固定图像融合结果。该网络旨在学习与融合任务对应的映射预定义融合函数Fif。简单来说，可以描述为：