【论文阅读】MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection

MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection（CVPR2023）

现有方法存在问题：

Separate Optimization忽略了对象检测对图像融合的正面影响，因为它孤立地训练每个任务，缺乏任务间的互动与互补。

Cascaded Optimization虽然尝试结合两者，但因直接用高级的对象检测约束低级的图像融合，导致特征不匹配，影响了优化效果。

这两种方法都未能充分利用两个任务之间的相互促进潜力。

本文贡献：

提出了一种元特征嵌入网络（MFE）。思路是，如果M F E 根据IVIF网络能力生成OD特征，那么OD特征自然兼容IVIF网络，并且可以通过模拟元学习来实现优化。

（1）我们探索了IVIF和OD的联合学习框架，并提出了MetaFuison以在这两个任务上获得优异的性能。

（2）元特征嵌入网络旨在生成弥合F和D之间差距的元特征。

（3）随后，引入F和D之间的相互促进学习以提高其性能。

(4)大量的图像融合和目标检测实验验证了该方法的有效性。

研究方法

元特征嵌入