【图像融合】基于低级特征的精确多重曝光图像融合Matlab复现-优快云博客

本文链接：https://blog.youkuaiyun.com/matlab_dingdang/article/details/145416146

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎个人主页：Matlab科研工作室

🍊个人信条：格物致知。

🎁 私信更多全部代码、Matlab仿真定制

🔥 内容介绍

多重曝光图像融合 (MEF) 提供了一种简洁有效的方式来生成高动态范围 (HDR) 图像。尽管现有的 MEF 方法在不同的静态场景中可以实现精确的融合效果，但在不同的动态场景下，其鬼影消除性能却存在差异。本文提出一种基于特征块 (FPM) 的精确 MEF 方法，旨在提高动态场景下鬼影消除的鲁棒性。首先，通过先验曝光质量选择参考图像，并将其用于结构一致性测试，以解决动态场景 MEF 中存在的图像鬼影问题。源图像通过引导滤波分解为空间域结构。分解图像的基底层和细节层均进行融合，以实现 MEF。将图像块的结构分解和适当的曝光评估集成到所提出的解决方案中。通过优化全局和局部曝光，进一步提高了融合性能。与现有的六种 MEF 方法相比，本文提出的 FPM 不仅提高了动态场景下鬼影消除的鲁棒性，还在色彩饱和度、图像锐度和局部细节处理方面表现出色。

1. 引言

随着数字成像技术的快速发展，高动态范围 (HDR) 图像处理的需求日益增长。HDR 图像能够呈现比普通图像更广泛的亮度范围，从而更真实地捕捉真实场景。然而，传统的图像传感器往往受限于其有限的动态范围，难以捕捉场景中极端明暗区域的细节信息。多重曝光图像融合 (MEF) 技术应运而生，它通过拍摄一系列不同曝光度的图像，并将这些图像融合在一起，从而生成具有更大动态范围的图像，有效地解决了这一问题。

现有的 MEF 方法在静态场景下已经取得了显著的成功，能够生成高质量的 HDR 图像。这些方法通常基于像素级别的融合，利用像素之间的亮度信息进行加权平均或其他融合策略。然而，当场景中存在运动物体或相机抖动等动态因素时，这些方法往往会产生令人不快的鬼影伪影。鬼影现象是指在融合后的图像中出现的模糊、重叠或不真实的对象轮廓，严重影响了图像的视觉质量。因此，如何提高动态场景下 MEF 方法的鬼影消除鲁棒性，成为了当前研究的重要挑战。

本文针对动态场景下 MEF 的鬼影消除问题，提出了一种基于特征块（FPM）的精确 MEF 方法。该方法的核心思想是将图像分解为结构层和细节层，并利用结构一致性测试和曝光评估策略，有效地抑制鬼影伪影的产生。我们首先通过先验曝光质量选择合适的参考图像，然后利用引导滤波器将源图像分解为基底层和细节层。基底层包含图像的结构信息，细节层则包含高频细节和纹理信息。我们对基底层进行结构一致性测试，并根据曝光评估结果进行加权融合。同时，细节层也采用相应的融合策略。通过优化全局和局部曝光，最终得到融合后的 HDR 图像。实验结果表明，本文提出的 FPM 方法在动态场景下的鬼影消除方面表现出优异的性能，同时在色彩饱和度、图像锐度和局部细节处理方面也具有竞争力。

2. 相关工作

近年来，针对 MEF 问题的研究取得了显著进展，涌现出大量的算法和技术。这些方法可以大致分为以下几类：

基于像素的融合方法：这类方法是最传统的 MEF 方法，其核心思想是对不同曝光图像的对应像素进行加权平均。常见的加权策略包括基于图像亮度、对比度和饱和度的加权。然而，当图像存在运动时，像素级别的加权融合往往会导致鬼影。
基于区域的融合方法：这类方法将图像划分为不同的区域，并对每个区域进行独立的融合。区域分割可以基于图像的亮度、颜色或纹理等特征。基于区域的融合方法可以在一定程度上缓解鬼影问题，但其性能往往依赖于区域分割的准确性。
基于多分辨率的融合方法：这类方法将图像分解为不同分辨率的图像，并在不同的分辨率层级上进行融合。这种方法可以在一定程度上保留图像的细节信息，并抑制噪声。然而，基于多分辨率的方法仍然可能受到动态场景鬼影的影响。
基于深度学习的融合方法：近年来，深度学习技术在 MEF 领域得到了广泛应用。基于深度学习的 MEF 方法可以学习图像的特征表示，并根据这些特征进行融合。这些方法在一定程度上提高了融合质量和鲁棒性，但通常需要大量的训练数据和计算资源。

尽管现有的 MEF 方法在静态场景下取得了良好的效果，但在动态场景下，仍然存在鬼影消除鲁棒性不足的问题。本研究的目标是提出一种新的 MEF 方法，能够有效地解决动态场景下的鬼影问题，同时保证融合图像的质量。

3. 方法论：基于特征块的多重曝光图像融合

本文提出一种基于特征块（FPM）的精确 MEF 方法，该方法包含以下关键步骤：

3.1 参考图像选择

首先，我们需要从一系列不同曝光的图像中选择一张作为参考图像。参考图像的选择至关重要，因为它将作为结构一致性测试的基础。本文采用先验曝光质量评估方法来选择参考图像。具体而言，我们计算每张图像的曝光度，并选择曝光度最接近预定阈值的图像作为参考图像。这保证了参考图像具有良好的亮度分布和丰富的细节信息。

3.2 图像分解

选定参考图像后，我们将所有源图像通过引导滤波器分解为基底层和细节层。引导滤波器是一种边缘保持的平滑滤波器，可以将图像分解为结构信息丰富的基底层和高频细节信息丰富的细节层。基底层主要包含了图像的整体结构和亮度信息，细节层则包含了图像的纹理、边缘和噪声等细节信息。

3.3 结构一致性测试

对于基底层，我们采用结构一致性测试来解决动态场景下的鬼影问题。对于每一张源图像的基底层，我们将其与参考图像的基底层进行比较，计算它们之间的结构相似性指数 (SSIM)。SSIM 指数能够衡量两张图像之间的结构相似程度，取值范围在 0 到 1 之间，值越大表示相似程度越高。如果两张图像的结构差异较大，则表明该区域可能存在运动物体或鬼影。

3.4 曝光评估和融合

在结构一致性测试的基础上，我们进一步对图像的局部曝光进行评估。我们根据图像的局部亮度信息和曝光质量，计算每个像素的权重值。对于基底层，我们采用基于结构相似性的加权融合策略。如果某区域的结构相似性较高，则该区域的融合权重也较高；反之，如果结构相似性较低，则融合权重也较低。对于细节层，我们则采用简单的加权平均策略进行融合，并根据图像的局部对比度动态调整融合权重。

3.5 全局和局部曝光优化

为了进一步提高融合图像的质量，我们进行了全局和局部曝光优化。全局曝光优化通过调整融合图像的整体亮度，使其更加符合人眼的视觉感知。局部曝光优化则通过动态调整融合图像的局部对比度，使其细节更加清晰。

4. 实验结果与分析

为了验证本文提出 FPM 方法的有效性，我们进行了大量的实验。我们选取了多个包含动态物体和复杂场景的 MEF 数据集，并将其与六种现有的 MEF 方法进行了比较。实验结果表明：

鬼影消除：本文提出的 FPM 方法在动态场景下的鬼影消除方面表现出优异的性能。与其他方法相比，FPM 能够有效地抑制鬼影伪影的产生，使得融合图像更加清晰和自然。
色彩饱和度： FPM 方法在融合过程中能够保持图像的色彩饱和度，使得融合图像的色彩更加鲜艳和丰富。
图像锐度： FPM 方法能够有效地保留图像的细节信息，使得融合图像更加锐利和清晰。
局部细节处理： FPM 方法在局部细节处理方面也表现出色，能够清晰地呈现图像的纹理和边缘信息。

通过客观评价指标 (如峰值信噪比 PSNR, 结构相似性 SSIM) 和主观视觉感知，我们得出结论：本文提出的 FPM 方法在动态场景下的 MEF 方面具有明显的优势。

5. 结论

本文提出了一种基于特征块的精确 MEF 方法，旨在提高动态场景下鬼影消除的鲁棒性。该方法通过结构一致性测试、曝光评估和图像分解等策略，有效地解决了动态场景下的鬼影问题。实验结果表明，本文提出的 FPM 方法不仅提高了动态场景下鬼影消除的鲁棒性，还在色彩饱和度、图像锐度和局部细节处理方面表现出色。未来工作可以进一步探索 FPM 方法的参数优化，并将其应用于更广泛的图像处理任务。

⛳️ 运行结果

🔗 参考文献

： Qi, G.; Chang, L.; Luo, Y.; Chen, Y.; Zhu, Z.; Wang, S. A Precise Multi-Exposure Image Fusion Method Based on Low-level Features. Sensors 2020, 20, 1597.