【红外与可见光图像融合】离散平稳小波变换域中基于离散余弦变换和局部空间频率的红外与视觉图像融合方法附Matlab代码

原创于 2025-03-26 11:29:36 发布 · 725 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#matlab #开发语言

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

红外与可见光图像融合技术是计算机视觉领域的一个重要分支，它旨在将红外图像中的热辐射信息与可见光图像中的细节纹理信息有效地结合起来，从而获得更全面、更准确的场景描述。红外图像能够反映目标的温度分布，具有穿透烟雾、伪装等能力，但缺乏细节和纹理信息；而可见光图像则能够提供丰富的细节信息，但易受光照条件的影响。因此，将两者融合，可以优势互补，提高目标检测、识别、跟踪以及场景理解的性能，在军事侦察、安全监控、智能交通、医疗诊断等领域具有广泛的应用前景。

本文旨在探讨一种基于离散平稳小波变换（Discrete Stationary Wavelet Transform, DSWT）域，并结合离散余弦变换（Discrete Cosine Transform, DCT）和局部空间频率（Local Spatial Frequency, LSF）的红外与可见光图像融合方法。该方法充分利用了DSWT在多尺度分解和保持图像平移不变性方面的优势，以及DCT在能量集中和特征提取方面的能力，并结合LSF对图像局部细节的敏感性，旨在有效地提取红外与可见光图像的特征，并实现高质量的融合。

1. 引言与背景

传统的图像融合方法主要分为空间域融合和变换域融合两大类。空间域融合方法，如加权平均法、主成分分析法（PCA）等，直接对像素进行操作，计算简单，但容易产生块效应、模糊等问题，难以有效地提取图像特征。变换域融合方法则首先将图像变换到特定的变换域，如傅里叶变换、小波变换等，然后在变换域内进行融合，最后再将融合后的变换系数反变换回空间域。相比空间域融合方法，变换域融合方法通常能够更好地提取图像特征，并减少图像失真。

小波变换由于其多分辨率分析能力和良好的时频局部化特性，在图像融合领域得到了广泛的应用。传统的离散小波变换（DWT）虽然具有计算效率高的优点，但由于其下采样操作，导致图像在分解过程中失去了平移不变性，容易产生伪吉布斯现象和能量损失。为了克服DWT的缺点，近年来，研究者们提出了各种改进的小波变换方法，其中包括DSWT。DSWT通过去除下采样操作，保持了图像的平移不变性，能够更好地保留图像的细节信息，因此在图像融合领域具有很大的潜力。

2. 基于DSWT、DCT和LSF的融合方法

本方法的核心思想是在DSWT域内，利用DCT提取低频分量的全局特征，并利用LSF衡量高频分量的局部细节信息，然后基于这些特征设计相应的融合规则。具体步骤如下：

图像预处理:
首先对红外图像和可见光图像进行预处理，包括图像配准、灰度拉伸等，以确保图像的准确对齐，并提高图像的对比度。
DSWT分解:
利用DSWT分别对红外图像和可见光图像进行多尺度分解，得到一系列的低频分量（近似图像）和高频分量（细节图像）。DSWT的分解过程能够将图像分解成不同尺度和方向的子带，从而能够更好地提取图像的特征。
低频分量融合:
对于低频分量，本方法采用基于DCT的融合规则。首先，将红外图像和可见光图像的低频分量分别进行DCT变换，得到相应的DCT系数。然后，计算每个DCT系数的能量值，并选择能量值较大的DCT系数作为融合后的DCT系数。最后，将融合后的DCT系数进行反DCT变换，得到融合后的低频分量。基于DCT的融合规则能够有效地保留图像的全局能量信息。
高频分量融合:
对于高频分量，本方法采用基于LSF的融合规则。LSF能够反映图像的局部空间频率信息，因此可以作为衡量图像局部细节的指标。本方法首先计算每个高频分量的LSF值，然后选择LSF值较大的高频分量作为融合后的高频分量。基于LSF的融合规则能够有效地保留图像的局部细节信息。
DSWT重构:
将融合后的低频分量和高频分量进行DSWT重构，得到最终的融合图像。

3. 方法细节与技术实现

DSWT分解: DSWT的实现可以通过将DWT的滤波器组进行上采样来完成，从而消除下采样操作的影响。选择合适的小波基函数对于DSWT的性能至关重要。常用的DSWT小波基函数包括Haar小波、Daubechies小波等。
DCT变换: DCT变换是一种常用的正交变换，可以将图像从空间域变换到频率域。DCT变换具有能量集中的特性，可以将图像的大部分能量集中在少数几个系数上，从而有利于特征提取。
LSF计算: LSF可以通过计算图像的水平空间频率和垂直空间频率来得到。水平空间频率反映图像在水平方向上的细节变化程度，垂直空间频率反映图像在垂直方向上的细节变化程度。LSF的计算公式如下：
scss

LSF = sqrt(HF^2 + VF^2) HF = sqrt(sum(sum((I(i, j) - I(i, j+1))^2)) / (M * N)) VF = sqrt(sum(sum((I(i, j) - I(i+1, j))^2)) / (M * N))

其中，HF表示水平空间频率，VF表示垂直空间频率，I(i, j)表示图像在坐标(i, j)处的像素值，M和N分别表示图像的宽度和高度。
融合规则设计: 低频分量融合规则需要考虑到全局能量的保留，高频分量融合规则需要考虑到局部细节的保留。除了能量和LSF之外，还可以考虑其他特征，如梯度信息、方差等，来设计更复杂的融合规则。
参数选择: 该方法涉及到多个参数，如DSWT的分解层数、DCT的块大小、LSF的计算窗口大小等。这些参数的选择需要根据具体的应用场景和图像特征进行调整。

4. 实验结果与分析

为了验证本方法的有效性，本文进行了大量的实验，并与其他常用的红外与可见光图像融合方法进行了比较。实验结果表明，本方法在主观视觉效果和客观评价指标方面均优于其他方法。

主观视觉效果:
本方法能够有效地保留红外图像中的热辐射信息和可见光图像中的细节纹理信息，融合后的图像具有清晰的细节和丰富的纹理，视觉效果良好。
客观评价指标:
本方法在信息熵（Information Entropy, IE）、空间频率（Spatial Frequency, SF）、平均梯度（Average Gradient, AG）、视觉信息保真度（Visual Information Fidelity, VIF）等客观评价指标方面均优于其他方法。这些指标表明，本方法能够有效地保留源图像的信息，并提高图像的清晰度和对比度。

5. 结论与展望

本文提出了一种基于DSWT域，并结合DCT和LSF的红外与可见光图像融合方法。该方法充分利用了DSWT在多尺度分解和保持图像平移不变性方面的优势，以及DCT在能量集中和特征提取方面的能力，并结合LSF对图像局部细节的敏感性，有效地提取了红外与可见光图像的特征，并实现了高质量的融合。实验结果表明，本方法在主观视觉效果和客观评价指标方面均优于其他方法。

尽管本方法取得了较好的效果，但仍然存在一些需要改进的地方。例如，融合规则的设计还可以更加精细化，可以考虑将更多的图像特征融入到融合规则中。此外，本方法的时间复杂度较高，需要进一步优化算法，提高计算效率。

未来的研究方向包括：

自适应融合规则:
根据图像的局部特征自适应地选择不同的融合规则，以获得更好的融合效果。
深度学习方法:
利用深度学习方法，如卷积神经网络（CNN），自动学习图像的特征，并设计更加高效的融合算法。
多传感器融合:
将红外与可见光图像融合技术与其他传感器的数据融合技术结合起来，如激光雷达（LiDAR）数据、高光谱数据等，以获得更全面、更准确的场景描述。