使用显著性检测的可见光和红外图像的两尺度图像融合附Matlab代码

原创于 2025-12-15 20:50:48 发布 · 358 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#matlab #计算机视觉 #图像处理

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

一、引言

在现代图像技术领域，可见光图像和红外图像各自具有独特的优势与局限性。可见光图像能够清晰地呈现场景中的细节信息，如物体的纹理、颜色等，这得益于其对可见光波段的敏感捕捉，符合人眼对自然场景的视觉感知习惯，因此在日常观测、监控等场景中被广泛应用。然而，它也存在明显的不足，当遇到恶劣天气，如大雾、暴雨，或者在夜间等低光照环境下，可见光的传播会受到严重阻碍，导致图像对比度下降、细节模糊，无法准确反映场景实际情况。

红外图像则与之不同，它主要依靠检测物体自身的热辐射来生成图像。由于任何物体只要温度高于绝对零度就会向外辐射红外线，所以红外图像在低光照、恶劣天气以及存在遮挡物等情况下，依然能够清晰地显示出物体的轮廓和位置信息，尤其在军事侦察、夜间安防、医疗诊断等领域发挥着不可替代的作用。但红外图像也有其短板，它通常缺乏物体的纹理、颜色等细节信息，图像的空间分辨率相对较低，整体视觉效果较为单一，不利于对物体进行精确的识别和分析。

为了充分发挥可见光图像和红外图像的优势，弥补各自的缺陷，图像融合技术应运而生。通过将两种图像的有效信息进行有机结合，可以生成一幅兼具丰富细节和清晰目标轮廓的融合图像，从而提高图像的信息含量和应用价值。在众多图像融合方法中，基于显著性检测的两尺度图像融合技术凭借其独特的优势，成为当前研究的热点之一。

二、相关理论基础

（一）显著性检测

显著性检测是模拟人类视觉系统的一种技术，其核心思想是从复杂的图像场景中快速提取出能够引起人类视觉注意的区域，即显著区域。这些显著区域通常包含了图像中最重要、最关键的信息，如目标物体等。在可见光和红外图像融合中，显著性检测能够帮助我们准确识别出两种图像中的重要目标区域，为后续的融合过程提供有针对性的指导，确保融合后的图像能够突出关键信息。

目前，显著性检测算法主要分为基于底层特征的算法、基于学习的算法等类别。基于底层特征的算法主要利用图像的颜色、亮度、纹理等底层特征来计算图像的显著性，如对比度度量算法，通过计算像素与周围像素的对比度来确定显著区域；基于学习的算法则通过训练大量的图像数据，建立显著性检测模型，如卷积神经网络模型，能够自动学习图像中的显著性特征，具有较高的检测精度。

（二）两尺度图像分解

两尺度图像分解是将原始图像分解为低频分量和高频分量的过程。低频分量主要反映图像的整体轮廓和背景信息，其变化较为平缓，包含了图像的大部分能量；高频分量则主要反映图像的细节信息，如边缘、纹理等，其变化较为剧烈，是图像细节的重要体现。

在可见光和红外图像融合中，进行两尺度图像分解具有重要意义。通过分解，可以将两种图像的低频信息和高频信息分别进行处理，然后根据不同的融合规则进行融合，从而更好地保留两种图像的优势信息。常用的两尺度图像分解方法包括高斯金字塔分解、拉普拉斯金字塔分解、小波变换等。高斯金字塔分解通过对图像进行多次高斯滤波和下采样，生成一系列不同分辨率的低频图像；拉普拉斯金字塔分解则是在高斯金字塔分解的基础上，通过计算相邻两层高斯图像的差值，得到高频图像；小波变换则通过将图像分解为不同尺度、不同方向的小波系数，实现对图像低频和高频信息的分离。

三、使用显著性检测的两尺度图像融合流程

（一）图像预处理

在进行图像融合之前，需要对可见光图像和红外图像进行预处理，以消除图像中的噪声、校正图像的几何失真等，提高图像的质量。常用的预处理操作包括图像去噪、图像配准等。

图像去噪的目的是减少图像中的噪声干扰，常用的去噪算法有均值滤波、中值滤波、高斯滤波、小波去噪等。均值滤波通过计算像素周围邻域的平均值来替代该像素的值，能够有效去除高斯噪声，但会使图像变得模糊；中值滤波则通过将像素周围邻域的像素值按大小排序，取中间值作为该像素的值，对椒盐噪声具有较好的去除效果，同时能够较好地保留图像的边缘信息；高斯滤波是一种线性平滑滤波，对高斯噪声的去除效果较好；小波去噪则利用小波变换将图像分解为不同尺度的小波系数，对含有噪声的小波系数进行阈值处理，然后再进行小波逆变换得到去噪后的图像，能够在去除噪声的同时，较好地保留图像的细节信息。

图像配准是确保可见光图像和红外图像在空间位置上保持一致的关键步骤。由于可见光图像和红外图像的成像原理不同，获取图像时的设备参数、拍摄角度等也可能存在差异，导致两种图像之间存在几何失真。如果不进行配准，融合后的图像会出现重影、模糊等问题，影响融合效果。图像配准的过程主要包括特征提取、特征匹配、变换模型估计和图像重采样等步骤。常用的特征提取算法有 SIFT（尺度不变特征变换）、SURF（加速稳健特征）等，这些算法能够提取出图像中的稳定特征点；特征匹配则是通过计算特征点之间的相似度，找到两种图像中对应的特征点；变换模型估计则根据匹配的特征点，确定两种图像之间的几何变换关系，如平移、旋转、缩放等；图像重采样则根据估计的变换模型，对其中一幅图像进行重采样，使其与另一幅图像在空间位置上保持一致。

（二）两尺度图像分解

对预处理后的可见光图像和红外图像分别进行两尺度图像分解，得到各自的低频分量和高频分量。以高斯 - 拉普拉斯金字塔分解为例，其分解过程如下：

对原始图像进行高斯滤波，得到高斯金字塔的第一层图像，该图像为低频分量，反映了图像的整体轮廓信息。

对高斯金字塔的第一层图像进行下采样，得到分辨率较低的图像，然后对该图像进行上采样，并与高斯金字塔的第一层图像进行差值运算，得到拉普拉斯金字塔的第一层图像，该图像为高频分量，反映了图像的细节信息。

重复上述步骤，对下采样后的图像进行高斯滤波、下采样和差值运算，生成高斯金字塔和拉普拉斯金字塔的后续层图像，直至达到预设的分解层数。

通过两尺度图像分解，将可见光图像和红外图像分别分解为低频分量 V_L、红外图像低频分量 I_L，以及可见光图像高频分量 V_H、红外图像高频分量 I_H。

（三）显著性检测

分别对可见光图像和红外图像进行显著性检测，得到对应的显著性图。以基于对比度的显著性检测算法为例，其计算过程如下：

将图像划分为若干个像素块，计算每个像素块与其他所有像素块之间的颜色对比度或亮度对比度。

根据计算得到的对比度值，确定每个像素块的显著性值，对比度越大，显著性值越高。

对每个像素块的显著性值进行归一化处理，得到最终的显著性图，显著性图中的像素值表示对应位置的显著程度，值越大表示该位置越显著。

通过显著性检测，得到可见光图像显著性图 S_V 和红外图像显著性图 S_I。

（四）融合规则设计

1. 低频分量融合规则

低频分量主要反映图像的整体轮廓和背景信息，融合时应注重保留两种图像的整体信息，同时突出显著区域的背景信息。基于显著性检测结果，设计如下低频分量融合规则：

设融合后的低频分量为 F_L，可见光图像低频分量为 V_L，红外图像低频分量为 I_L，可见光图像显著性图为 S_V，红外图像显著性图为 S_I。首先，对显著性图 S_V 和 S_I 进行归一化处理，使其像素值在 [0,1] 范围内。然后，计算每个像素位置的权重系数 w_V 和 w_I，其中 w_V = S_V / (S_V + S_I)，w_I = S_I / (S_V + S_I)。当 S_V + S_I = 0 时，取 w_V = w_I = 0.5。最后，根据权重系数对两种图像的低频分量进行加权融合，即 F_L = w_V * V_L + w_I * I_L。

这种融合规则能够根据图像的显著性信息，自动调整两种图像低频分量的权重。在显著区域，显著性值较高的图像对应的权重较大，从而更好地保留显著区域的背景信息；在非显著区域，两种图像的权重较为均衡，能够充分融合两种图像的整体轮廓信息。

2. 高频分量融合规则

高频分量主要反映图像的细节信息，如边缘、纹理等，融合时应注重保留两种图像的细节信息，同时突出显著区域的细节特征。基于显著性检测结果和高频分量的特性，设计如下高频分量融合规则：

设融合后的高频分量为 F_H，可见光图像高频分量为 V_H，红外图像高频分量为 I_H，可见光图像显著性图为 S_V，红外图像显著性图为 S_I。首先，计算高频分量的绝对值，以突出细节信息的强度。然后，对于每个像素位置，比较可见光图像高频分量绝对值 | V_H | 和红外图像高频分量绝对值 | I_H | 的大小，同时结合显著性图的信息。如果 | V_H| > |I_H | 且 S_V > S_I，则取 F_H = V_H；如果 | I_H| > |V_H | 且 S_I > S_V，则取 F_H = I_H；如果 | V_H| ≈ |I_H | 或 S_V ≈ S_I，则取 F_H = (V_H + I_H) / 2。

这种融合规则能够根据高频分量的强度和图像的显著性信息，选择保留细节信息更丰富、显著程度更高的高频分量，从而使融合后的图像具有更清晰的细节特征和更突出的显著区域。

（五）图像重构

将融合后的低频分量 F_L 和高频分量 F_H 进行图像重构，得到最终的融合图像。以高斯 - 拉普拉斯金字塔重构为例，其重构过程如下：

从拉普拉斯金字塔的最高层开始，将该层高频分量与上一层高斯金字塔图像（通过对当前层高斯金字塔图像上采样得到）进行叠加，得到上一层的重构图像。

重复上述步骤，逐层向上叠加，直至得到与原始图像分辨率相同的重构图像，该图像即为最终的融合图像。

通过图像重构，将融合后的低频分量和高频分量有机结合起来，生成兼具可见光图像丰富细节和红外图像清晰目标轮廓的融合图像。

四、融合效果评估

为了客观评价使用显著性检测的两尺度图像融合方法的性能，需要采用合适的评估指标对融合效果进行量化分析。常用的图像融合评估指标包括主观评估指标和客观评估指标。

（一）主观评估指标

主观评估指标主要依靠人眼对融合图像的视觉感受来评价融合效果，主要考虑图像的清晰度、细节丰富度、目标突出程度、色彩自然度等方面。评估人员根据自己的视觉经验，对融合图像进行打分，打分范围通常为 1-5 分，1 分表示融合效果极差，5 分表示融合效果极佳。通过对多个评估人员的打分进行统计分析，得到主观评估结果。

主观评估指标能够直接反映融合图像的视觉质量，但受评估人员的主观因素影响较大，不同的评估人员可能会给出不同的评估结果。因此，在进行主观评估时，应选择具有一定图像处理经验的评估人员，并尽可能增加评估人员的数量，以提高主观评估结果的可靠性。

（二）客观评估指标

客观评估指标通过计算融合图像的相关统计参数来评价融合效果，具有客观性和可重复性的特点。常用的客观评估指标包括信息熵（IE）、互信息（MI）、峰值信噪比（PSNR）、结构相似性指数（SSIM）等。

信息熵（IE）：信息熵是衡量图像信息含量的重要指标，信息熵越大，说明图像包含的信息越丰富。其计算公式为：IE = -Σ（p_i * log2 (p_i)），其中 p_i 表示图像中灰度值为 i 的像素出现的概率。

互信息（MI）：互信息用于衡量融合图像与源图像之间的信息相关性，互信息越大，说明融合图像从源图像中获取的信息越多。其计算公式为：MI = H (A) + H (B) - H (A,B)，其中 H (A) 和 H (B) 分别表示源图像 A 和源图像 B 的信息熵，H (A,B) 表示源图像 A 和源图像 B 的联合信息熵。

峰值信噪比（PSNR）：峰值信噪比用于衡量融合图像与理想图像（通常以其中一幅源图像作为理想图像）之间的失真程度，峰值信噪比越大，说明融合图像的失真程度越小。其计算公式为：PSNR = 10 * log10 (2^n - 1)^2 / MSE，其中 n 表示图像的灰度级位数，MSE 表示融合图像与理想图像之间的均方误差。

结构相似性指数（SSIM）：结构相似性指数用于衡量融合图像与源图像之间的结构相似程度，结构相似性指数越接近 1，说明融合图像与源图像的结构相似程度越高，融合效果越好。其计算公式综合考虑了图像的亮度、对比度和结构信息。

通过计算上述客观评估指标，可以对使用显著性检测的两尺度图像融合方法的性能进行客观、准确的评价，为方法的改进和优化提供依据。

五、应用场景

使用显著性检测的可见光和红外图像两尺度融合技术具有广泛的应用场景，主要包括以下几个方面：

（一）军事领域

在军事侦察、制导、夜视等方面，该融合技术能够发挥重要作用。例如，在夜间军事侦察中，红外图像能够清晰地显示出敌方目标的位置和轮廓，但缺乏细节信息；可见光图像虽然在夜间细节信息不足，但在白天或有微光的情况下能够提供丰富的细节。通过融合两种图像，可以生成兼具清晰目标轮廓和丰富细节的融合图像，帮助侦察人员更准确地识别敌方目标的类型、数量和行动意图，提高侦察效率和准确性。在导弹制导中，融合图像能够为导弹提供更准确的目标定位信息，提高导弹的命中精度。

（二）安防监控领域

在安防监控中，该融合技术能够提高监控系统在复杂环境下的监控效果。例如，在夜间或低光照环境下，可见光监控图像效果较差，而红外监控图像能够清晰地显示出人员和车辆的轮廓。通过融合两种图像，可以生成清晰的监控图像，帮助监控人员及时发现异常情况，如非法入侵、盗窃等。在恶劣天气条件下，如大雾、暴雨等，可见光图像和红外图像都会受到不同程度的影响，融合后的图像能够综合两种图像的优势，提高监控图像的质量和可读性，确保监控系统的正常运行。

（三）医疗诊断领域

在医疗诊断中，该融合技术能够为医生提供更丰富、更准确的医学图像信息，帮助医生做出更准确的诊断。例如，在乳腺肿瘤诊断中，红外热成像图像能够显示出肿瘤区域的热辐射异常，反映肿瘤的代谢情况；可见光图像能够显示出乳腺的结构和形态信息。通过融合两种图像，可以将肿瘤的热辐射信息与结构形态信息相结合，帮助医生更准确地判断肿瘤的位置、大小和性质。在脑部疾病诊断中，红外图像能够显示出脑部的血液灌注情况，可见光图像能够显示出脑部的解剖结构，融合后的图像能够为医生提供更全面的脑部信息，有助于脑部疾病的早期诊断和治疗。

（四）交通领域

在交通监控和导航中，该融合技术能够提高交通系统的安全性和效率。例如，在夜间交通监控中，融合图像能够清晰地显示出车辆的轮廓、车牌号码和道路状况，帮助交通管理部门及时发现交通违法行为，如闯红灯、超速等，维护交通秩序。在汽车导航系统中，融合图像能够为驾驶员提供更清晰的道路信息和周围环境信息，尤其是在低光照或恶劣天气条件下，帮助驾驶员更好地判断路况，提高驾驶安全性。

六、总结与展望

（一）总结

本文详细探讨了使用显著性检测的可见光和红外图像的两尺度图像融合技术。首先，分析了可见光图像和红外图像的特点及融合的必要性；其次，介绍了显著性检测和两尺度图像分解的相关理论基础；然后，阐述了该融合技术的具体流程，包括图像预处理、两尺度图像分解、显著性检测、融合规则设计和图像重构；接着，讨论了融合效果的评估方法，包括主观评估指标和客观评估指标；最后，介绍了该融合技术的应用场景。

通过研究可以发现，使用显著性检测的两尺度图像融合技术能够有效结合可见光图像和红外图像的优势，生成兼具丰富细节和清晰目标轮廓的融合图像。该技术通过显著性检测准确识别图像中的重要目标区域，为融合规则的设计提供了依据；通过两尺度图像分解将图像分解为低频分量和高频分量，分别进行融合处理，能够更好地保留两种图像的优势信息。融合效果评估结果表明，该技术在主观视觉质量和客观指标方面均具有较好的性能，能够满足不同应用场景的需求。

（二）展望

尽管使用显著性检测的两尺度图像融合技术取得了一定的研究成果，但在实际应用中仍存在一些问题和挑战，需要进一步研究和改进。

显著性检测算法的优化：目前的显著性检测算法在处理复杂场景图像时，可能会出现显著区域检测不准确的情况，如将背景区域误检测为显著区域，或者遗漏部分显著区域。未来可以进一步优化显著性检测算法，提高其在复杂场景下的检测精度和鲁棒性。例如，结合深度学习技术，构建更强大的显著性检测模型，利用深度神经网络自动学习图像中的复杂特征，提高显著区域的检测准确性。

融合规则的改进：现有的融合规则在处理不同类型的图像和不同应用场景时，可能存在一定的局限性。未来可以根据不同的图像类型和应用需求，设计更加灵活、自适应的融合规则。例如，针对不同分辨率、不同对比度的图像，自动调整融合规则中的参数，以达到最佳的融合效果。同时，可以结合多特征融合的思想，将图像的颜色、纹理、边缘等多种特征融入到融合规则中，进一步提高融合图像的质量。

实时性的提升：在一些实时应用场景中，如军事侦察、交通监控等，对图像融合的实时性要求较高。目前的两尺度图像融合技术在处理高分辨率图像时，计算量较大，实时性较差。未来可以研究高效的图像分解和融合算法，优化算法的计算流程，减少计算量，提高图像融合的实时性。例如，采用并行计算技术，利用 GPU 等硬件加速设备，提高算法的运行速度。

多模态图像融合的拓展：除了可见光图像和红外图像，还有许多其他类型的图像，如微波图像、超声图像、X 射线图像等。未来可以将使用显著性检测的两尺度图像融合技术拓展到多模态图像融合领域，实现多种不同类型图像的有效融合，为更多领域的应用提供支持。例如，在医疗诊断中，将超声图像、X 射线图像和红外图像进行融合，为医生提供更全面的医学信息，提高诊断的准确性。

总之，使用显著性检测的可见光和红外图像的两尺度图像融合技术具有广阔的发展前景。随着相关理论和技术的不断进步，该技术将在更多领域得到广泛应用，为提高图像信息处理水平和解决实际问题做出更大的贡献。