基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合附Matlab代码

最新推荐文章于 2025-12-01 20:15:00 发布

原创最新推荐文章于 2025-12-01 20:15:00 发布 · 745 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#matlab #开发语言

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

在图像处理领域，红外图像与可见光图像融合技术始终是热门研究方向。红外图像能够精准捕捉物体的热辐射信息，即便在雾霾、黑夜等恶劣环境下，也能清晰呈现目标轮廓，尤其适用于目标检测场景；而可见光图像则具备丰富的纹理细节和色彩信息，符合人眼的视觉感知习惯，在场景认知方面优势显著。

然而，单一类型的图像往往存在局限性：红外图像缺乏纹理细节，难以让观察者全面了解场景环境；可见光图像易受外界环境干扰，在复杂工况下可能丢失关键目标信息。基于视觉显著性图和加权最小二乘优化的融合技术，恰好能弥补两种图像的不足 —— 通过视觉显著性图突出场景中的关键目标，再借助加权最小二乘优化实现细节信息的平滑过渡与高效融合，最终生成兼具目标突出性和场景丰富度的融合图像，为军事侦察、安防监控、医疗诊断等领域提供更可靠的图像数据支持。

二、核心技术原理

（一）视觉显著性图构建

视觉显著性图的核心作用是模拟人眼视觉注意力机制，从图像中筛选出具有重要意义的区域（如红外图像中的热源目标、可见光图像中的纹理边缘）。其构建过程主要分为以下三步：

多尺度特征提取：分别对红外图像和可见光图像进行多尺度分解（常用方法包括高斯金字塔、拉普拉斯金字塔），获取不同分辨率下的亮度、对比度、纹理等特征。例如，在红外图像中，通过高尺度分解捕捉目标的整体轮廓，低尺度分解提取目标的局部热辐射差异；在可见光图像中，重点提取纹理边缘、色彩渐变等细节特征。

特征显著性计算：针对每个尺度下的特征图，采用 “中心 - 周边差异法” 计算显著性值。以亮度特征为例，选取图像中某一像素作为中心，对比其与周边区域像素的亮度差异，差异越大，该像素的显著性值越高（代表其更可能是目标区域）。同时，引入自适应阈值机制，避免背景噪声对显著性计算的干扰。

显著性图融合与优化：将红外图像和可见光图像的多尺度显著性图进行加权融合（红外图像权重侧重目标区域，可见光图像权重侧重细节区域），再通过高斯平滑去除融合过程中产生的噪声，最终得到全局最优的视觉显著性图。

（二）加权最小二乘优化融合

加权最小二乘（Weighted Least Squares, WLS）优化的核心目标是在保留显著性区域信息的同时，实现图像细节的自然过渡，避免融合图像出现 “块效应” 或 “模糊感”。其具体实现流程如下：

融合目标函数构建：以视觉显著性图为约束条件，构建 WLS 目标函数。目标函数分为两部分：一是 “数据保真项”，确保融合图像与原始红外、可见光图像在显著性区域的信息一致性（如红外目标的亮度值、可见光纹理的灰度值）；二是 “平滑约束项”，通过加权系数控制图像平滑程度 —— 在显著性区域（如目标边缘）采用小权重，保留细节信息；在非显著性区域（如背景）采用大权重，实现平滑过渡。

加权系数设计：加权系数的设计直接影响融合效果。通常以视觉显著性图的像素值为基础，采用 “S 型函数” 对其进行归一化处理：显著性值越高的像素，加权系数越小（对应数据保真项权重越大，优先保留原始信息）；显著性值越低的像素，加权系数越大（对应平滑约束项权重越大，优先实现平滑）。同时，引入局部梯度信息，对目标边缘区域的加权系数进行微调，进一步增强边缘细节的清晰度。

目标函数求解：WLS 目标函数属于凸优化问题，可通过迭代法（如梯度下降法、共轭梯度法）求解。在迭代过程中，不断调整融合图像的像素值，直至目标函数达到最小值 —— 此时融合图像既保留了红外目标的突出性，又兼具了可见光图像的纹理细节，且整体视觉效果自然。

三、技术实现步骤与关键细节

（一）整体实现流程

图像预处理：对输入的红外图像（单通道灰度图）和可见光图像（RGB 三通道图）进行预处理，包括尺寸归一化（通过双线性插值将两种图像调整为相同分辨率）、灰度化（将可见光 RGB 图转换为灰度图，便于后续特征提取）、去噪（采用中值滤波去除图像中的椒盐噪声）。

视觉显著性图构建：按照 “多尺度特征提取→特征显著性计算→显著性图融合与优化” 的流程，分别生成红外图像和可见光图像的显著性图，再通过加权融合得到全局视觉显著性图。

WLS 优化融合：以全局视觉显著性图为约束，构建 WLS 目标函数，设计加权系数，通过迭代法求解目标函数，得到初步融合图像。

后处理优化：对初步融合图像进行对比度增强（如直方图均衡化）和色彩恢复（若原始图像为彩色可见光图，需将融合后的灰度图与原始可见光图的色彩通道进行融合，生成彩色融合图像），最终输出高质量融合图像。

（二）关键细节与优化策略

多尺度分解尺度选择：尺度数量过多会导致计算复杂度上升，过少则无法充分提取图像特征。实验表明，采用 3-5 层高斯金字塔分解可在 “特征提取完整性” 和 “计算效率” 之间达到平衡 —— 低层（1-2 层）捕捉局部细节，高层（3-5 层）捕捉全局目标轮廓。

加权系数自适应调整：传统固定加权系数难以适应不同场景（如白天 / 黑夜、复杂 / 简单背景），可引入场景自适应机制：通过计算原始图像的信噪比（SNR）和对比度，动态调整红外与可见光显著性图的融合权重（如低信噪比场景下，增大红外图像权重，突出目标；高对比度场景下，增大可见光图像权重，保留细节）。

求解效率优化：WLS 目标函数的迭代求解过程耗时较长，可采用 “快速傅里叶变换（FFT）” 加速计算 —— 将时域上的迭代求解转换为频域上的矩阵运算，大幅减少计算量，使算法满足实时处理需求（如在安防监控场景中，处理帧率可达 25fps 以上）。

四、应用场景与未来展望

（一）典型应用场景

军事侦察领域：在夜间或复杂战场环境中，融合红外图像的目标探测能力与可见光图像的场景认知能力，为作战指挥提供清晰的战场态势图，辅助士兵识别敌方装甲目标、人员位置。

安防监控领域：在夜间安防巡逻中，融合图像可同时呈现行人、车辆等热目标及周边建筑纹理，解决传统监控 “夜间模糊”“目标丢失” 的问题，提升监控系统的预警能力。

医疗诊断领域：在医学影像融合中（如红外热成像与可见光超声图像融合），可同时呈现人体组织的热分布（辅助诊断炎症、肿瘤）和结构形态（辅助定位病变位置），为医生提供更全面的诊断依据。

（二）未来研究方向

轻量化算法设计：当前技术的计算复杂度较高，难以应用于嵌入式设备（如无人机、便携式侦察仪）。未来可通过 “深度学习 + 轻量化网络”（如 MobileNet、ShuffleNet）替代传统多尺度分解，在保证融合效果的同时，降低计算量和内存占用。

彩色红外图像融合优化：现有技术多针对灰度图像融合，彩色红外图像（如红外伪彩图）的融合效果仍需提升。未来可研究 “色彩迁移 + 显著性约束” 的融合策略，确保融合图像的色彩自然度与目标突出性平衡。

动态视频融合技术：当前技术主要面向静态图像，动态视频融合（如红外视频与可见光视频）存在 “帧间抖动”“目标跟踪偏移” 问题。未来可结合光流估计、目标跟踪算法，实现视频帧间的平滑融合，满足实时动态监控需求。

五、结论

基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合技术，通过视觉显著性图精准定位关键目标，借助 WLS 优化实现细节信息的自然融合，有效解决了传统融合技术 “目标不突出”“细节丢失”“视觉不自然” 的问题。实验结果表明，该技术在信息丰富度、对比度、结构一致性和抗噪声能力上均表现优异，可广泛应用于军事、安防、医疗等领域。未来通过轻量化、彩色化、动态化的技术优化，该技术将进一步拓展应用场景，为图像处理与计算机视觉领域提供更高效的融合解决方案。