77、红外与可见光图像的新型贝叶斯融合模型

红外与可见光图像的新型贝叶斯融合模型

1. 研究背景与目标

现有红外与可见光图像融合方法在图像对比度、清晰度以及细节信息丰富度方面仍有提升空间。红外与可见光图像融合（IVIF）能显著提高人类视觉系统在目标检测和识别中的感知能力。可见光图像包含丰富的外观信息，而对应红外图像中的纹理和细节信息往往不清晰；红外图像主要反映物体发出的热辐射，受光照变化或伪影影响较小，能克服夜间目标检测的障碍，但红外图像的空间分辨率通常低于可见光图像。因此，将热辐射和纹理细节信息融合到一幅图像中，有助于自动检测和精确定位。

显著性方法通过前景目标和背景的不同显著程度分离原始图像的目标和背景部分，然后分别设计相应的融合算法。基于贝叶斯的方法将融合模型转化为回归问题后，把优化问题转化为潜在变量参数的统计推断问题，使逐像素的融合权重能够自适应于源图像。

本项目的主要目标是构建一个能生成具有丰富纹理细节的融合图像的模型，以提高目标的可靠性。为此，提出了一种用于融合红外和可见光图像的新型贝叶斯模型，主要贡献如下：
- 回归与贝叶斯框架 ：将图像融合任务转化为回归问题，以分层贝叶斯方式衡量不确定性，并引入TV惩罚项使融合图像符合人类视觉系统。模型中每个像素的融合权重可自适应输入源，无需手动调整。
- 高效推理算法 ：该模型通过EM算法进行高效推理，结合半二次分裂算法，可将优化问题分解为最小二乘问题、l1范数惩罚回归问题和反卷积问题，每个子问题都有明确的解决方案。
- 多数据集测试 ：目前的融合方法大多仅在TNO数据集上验证，而本方法在TNO和近红外（NIR）图像融合数据集的三个场景上