【红外与可见光图像融合】离散平稳小波变换域中基于离散余弦变换和局部空间频率的红外与视觉图像融合方法附Matlab代码

本文链接：https://blog.youkuaiyun.com/Matlab245/article/details/147204479

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

红外与可见光图像融合技术旨在将不同传感器的信息优势互补，从而获得更全面、更富信息量的图像，在目标检测、场景理解、安全监控等领域具有广泛的应用前景。本文深入探讨了一种基于离散平稳小波变换（Discrete Stationary Wavelet Transform, DSWT）域，并结合离散余弦变换（Discrete Cosine Transform, DCT）和局部空间频率（Local Spatial Frequency, LSF）的红外与可见光图像融合方法。该方法旨在有效地提取图像的显著特征，并充分利用DSWT的平移不变性，提高融合图像的质量和细节保留能力。

关键词: 红外与可见光图像融合，离散平稳小波变换，离散余弦变换，局部空间频率，图像质量

引言

红外图像能够反映目标的热辐射信息，使其在弱光、黑暗甚至雾霾天气下依然可以被清晰地识别，尤其适用于夜间监控和目标探测。而可见光图像则能够提供丰富的场景纹理细节和色彩信息，更贴近人眼的视觉感知。然而，单一的红外图像或可见光图像都存在固有的局限性：红外图像缺乏细节信息，容易受到背景干扰；可见光图像在光线不足的情况下表现不佳。因此，将红外与可见光图像进行融合，充分利用两种传感器的优势互补，是提高图像质量和目标识别能力的重要手段。

近年来，图像融合技术得到了广泛的关注和研究，涌现出大量的融合算法。这些算法可以分为空域融合和变换域融合两大类。空域融合方法直接在像素层面进行处理，简单直观，但容易引入噪声和伪影。变换域融合方法则先将图像变换到特定的域中，再进行融合处理，能够更好地提取图像特征，具有更强的鲁棒性。常见的变换域包括小波变换、多尺度几何分析等。

相关理论基础

2.1 离散平稳小波变换 (DSWT)

离散平稳小波变换是离散小波变换（DWT）的改进版本。DWT虽然具有良好的多分辨率特性，但其下采样操作导致了平移变异性，影响图像的细节重构和融合效果。DSWT通过取消下采样操作，保证了平移不变性，更好地保留了图像的细节信息，从而提高了融合图像的质量。DSWT的分解过程包括卷积和上采样两个步骤，分别使用低通滤波器和高通滤波器进行卷积操作，然后对结果进行上采样。

2.2 离散余弦变换 (DCT)

离散余弦变换是一种广泛应用于图像压缩和信号处理的变换方法。它将图像从空域转换到频域，将图像能量集中在少数几个低频分量上，便于特征提取和数据压缩。DCT具有良好的能量集中特性，能够有效地提取图像的显著特征，并抑制噪声干扰。

2.3 局部空间频率 (LSF)

局部空间频率是一种衡量图像局部纹理细节丰富程度的指标。它通过计算局部区域内的行频率（RF）和列频率（CF），并将二者进行组合得到：

LSF = sqrt(RF^2 + CF^2)

其中，RF和CF分别代表局部区域内的行方向和列方向的频率分量。较高的LSF值表示该区域具有更丰富的纹理细节，较低的LSF值则表示该区域较为平滑。

提出的融合方法

本文提出了一种基于DSWT域，并结合DCT和LSF的红外与可见光图像融合方法，其主要步骤如下：

图像预处理: 对红外图像和可见光图像进行预处理，包括图像配准和灰度归一化，保证两幅图像在空间上对齐，并具有相同的灰度范围。
DSWT分解: 使用DSWT对预处理后的红外图像和可见光图像进行多尺度分解，得到一系列的近似系数（低频分量）和细节系数（高频分量）。
低频分量融合: 对红外图像和可见光图像的低频分量进行融合。由于低频分量包含图像的主要能量信息，因此选择合适的融合策略至关重要。本文采用基于加权平均的融合策略，权重系数由两幅图像的局部能量决定。局部能量更高的图像，其低频分量在融合结果中占有更大的比例。
高频分量融合: 对红外图像和可见光图像的高频分量进行融合。由于高频分量包含图像的细节信息，因此需要选择能够有效提取细节信息的融合策略。本文首先对红外图像和可见光图像的高频分量进行DCT变换，然后计算每个DCT块的能量。选择能量较大的DCT块所对应的图像的高频分量作为融合结果。此外，为了进一步增强细节信息，本文引入了局部空间频率作为辅助判据。对于DCT能量相近的块，选择LSF值较高的图像的高频分量。
DSWT重构: 使用DSWT逆变换对融合后的低频分量和高频分量进行重构，得到最终的融合图像。

算法流程图

(由于无法直接输出图像，请读者脑补算法流程图，大致包括以下步骤：图像输入 -> 图像预处理 -> DSWT分解 -> 低频分量融合 -> 高频分量融合 -> DSWT重构 -> 融合图像输出)

实验结果与分析

为了验证本文提出的融合方法的有效性，我们在公开的红外与可见光图像数据集上进行了实验。实验结果表明，本文提出的方法能够有效地提取红外图像的热辐射信息和可见光图像的纹理细节，并在融合图像中得到较好的保留。与其他现有的融合方法相比，本文提出的方法在主观视觉效果和客观评价指标上都具有一定的优势。

5.1 主观视觉效果

通过对比融合结果，可以发现本文提出的方法能够有效地将红外图像的目标信息和可见光图像的细节信息融合在一起。融合后的图像具有更高的对比度，更清晰的细节，更自然的视觉效果。

5.2 客观评价指标

为了定量评价融合图像的质量，我们采用了以下几种常用的客观评价指标：

熵 (Entropy):
衡量图像的信息量，熵值越高，图像包含的信息量越大。
标准差 (Standard Deviation):
衡量图像的对比度，标准差越高，图像的对比度越高。
平均梯度 (Average Gradient):
衡量图像的细节清晰度，平均梯度越高，图像的细节越清晰。
互信息 (Mutual Information):
衡量融合图像与源图像之间的信息传递量，互信息越高，融合效果越好。
视觉信息保真度 (Visual Information Fidelity, VIF):
是一种基于视觉感知的图像质量评价指标，VIF值越高，融合图像的质量越好。

实验结果表明，本文提出的方法在这些客观评价指标上均优于其他对比方法，进一步验证了其有效性。

结论与展望

本文提出了一种基于DSWT域，并结合DCT和LSF的红外与可见光图像融合方法。该方法充分利用了DSWT的平移不变性、DCT的能量集中特性和LSF的纹理细节衡量能力，有效地提取了图像的显著特征，并在融合图像中得到了较好的保留。实验结果表明，本文提出的方法能够有效地将红外图像的目标信息和可见光图像的细节信息融合在一起，并在主观视觉效果和客观评价指标上都具有一定的优势。