【图像融合】基于特征块的多曝光图像融合方法，提升动态场景去重影鲁棒性Matlab论文复现

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎个人主页：Matlab科研工作室

🍊个人信条：格物致知，求助可私信。

🔥 内容介绍

摘要: 多曝光图像融合 (MEF) 提供了一种简洁高效生成高动态范围 (HDR) 图像的方法。尽管现有的 MEF 方法在静态场景中能够实现精确的融合，但在动态场景中，其去重影性能却差异显著。本文提出一种基于特征块的多曝光图像融合方法 (FPM)，旨在增强动态场景去重影的鲁棒性。该方法首先根据先验曝光质量选择参考图像，然后利用其进行结构一致性检验，解决动态场景 MEF 中存在的重影问题。源图像通过引导滤波器分解为空间域结构，并对分解后的基层和细节层分别进行融合，以实现 MEF。图像块的结构分解和合适的曝光评估被整合到所提出的解决方案中，对全局和局部曝光进行优化，从而提升融合性能。与六种现有的 MEF 方法相比，所提出的 FPM 不仅提高了动态场景去重影的鲁棒性，还在色彩饱和度、图像锐度和局部细节处理方面表现出色。

1. 引言

高动态范围 (HDR) 图像能够展现比传统图像更广阔的亮度范围和更丰富的细节信息，在摄影、计算机视觉等领域具有广泛的应用。多曝光图像融合 (MEF) 作为一种生成 HDR 图像的有效途径，近年来受到了广泛关注。MEF 通过融合多张不同曝光参数拍摄的图像，有效地扩展图像的动态范围，并保留更多的细节信息。然而，在动态场景中，由于场景中物体运动导致的图像错位，MEF 往往会产生明显的重影伪影，严重影响融合图像的质量。现有的 MEF 方法在处理静态场景时能够取得较好的效果，但在动态场景中，其去重影性能往往难以令人满意。

本文针对动态场景 MEF 去重影鲁棒性不足的问题，提出一种基于特征块的多曝光图像融合方法 (FPM)。该方法的核心思想是通过选择合适的参考图像，并结合图像块的结构分解和全局/局部曝光优化，有效地抑制动态场景中的重影，并提高融合图像的整体质量。

2. 相关工作

现有的 MEF 方法主要可以分为基于像素级融合、基于区域级融合和基于块级融合三大类。基于像素级融合的方法，例如加权平均法和局部加权平均法，计算简单，但难以有效处理动态场景中的重影问题。基于区域级融合的方法，例如基于显著性检测的融合方法，能够有效地保留图像的显著区域信息，但对参数的依赖性较强。基于块级融合的方法，例如基于图像块匹配的融合方法，能够更好地处理动态场景中的重影问题，但计算复杂度较高。

然而，现有方法在动态场景下仍然存在一些不足，例如：对参考图像的选择缺乏有效的策略；对局部细节的处理不够精细；对全局和局部曝光的优化不够全面。本文提出的 FPM 方法旨在解决这些问题，并提高动态场景 MEF 的鲁棒性。

3. 基于特征块的多曝光图像融合方法 (FPM)

FPM 方法主要包含以下四个步骤：

(1) 参考图像选择: 首先，基于图像的曝光质量评价指标，例如熵、对比度和动态范围等，选择一张曝光质量最优的图像作为参考图像。该步骤能够为后续的结构一致性检验提供可靠的参考。

(2) 引导滤波器分解: 利用引导滤波器将所有源图像分解为基层和细节层。基层表示图像的主要结构信息，细节层表示图像的细节信息。引导滤波器能够有效地去除噪声并保留图像的边缘信息，为后续的融合提供高质量的输入。

(3) 结构一致性检验与融合: 基于参考图像，对所有源图像的基层进行结构一致性检验，识别并去除由物体运动引起的重影区域。对于一致性区域，采用加权平均法进行融合；对于不一致区域，则采用基于局部曝光优化的融合策略，以保留更多细节信息。细节层则采用基于局部方差的融合方法，以保留图像的细节信息。

(4) 全局和局部曝光优化: 为了进一步提高融合图像的质量，FPM 方法对融合后的图像进行全局和局部曝光优化。全局曝光优化采用直方图均衡化的方法，调整图像的整体亮度分布；局部曝光优化采用局部对比度增强的方法，提升图像的局部对比度和细节表现。

4. 实验结果与分析

为了验证 FPM 方法的有效性，本文进行了大量的实验，并将其与六种现有的 MEF 方法进行了比较。实验结果表明，FPM 方法在动态场景去重影方面具有显著的优势，并且在色彩饱和度、图像锐度和局部细节处理方面也表现出色。具体的实验结果和分析将在论文中详细阐述。

5. 结论

本文提出了一种基于特征块的多曝光图像融合方法 (FPM)，有效地解决了动态场景 MEF 中的重影问题，并提高了融合图像的质量。FPM 方法通过选择合适的参考图像，结合图像块的结构分解和全局/局部曝光优化，实现了对动态场景中重影的有效抑制，并在色彩饱和度、图像锐度和局部细节处理方面取得了良好的效果。未来的研究将致力于进一步提高 FPM 方法的效率和鲁棒性，并探索其在更多应用场景中的可能性。

📣 部分代码

return;

end

if (~exist('K', 'var'))

K = 0.03;

end

if (~exist('window', 'var'))

window = fspecial('gaussian', 11, 1.5);

end

imgSeq = double(imgSeq);

fI = double(fI);

[s1, s2, s3] = size(imgSeq);

wSize = size(window,1);

sWindow = ones(wSize) / wSize^2; % square window used to calculate the distance

bd = floor(wSize/2);

mu = zeros(s1-2*bd, s2-2*bd, s3);

ed = zeros(s1-2*bd, s2-2*bd, s3);

for i = 1:s3

img = squeeze(imgSeq(:,:,i));

mu(:,:,i) = filter2(sWindow, img, 'valid');

muSq = mu(:,:,i) .* mu(:,:,i);

sigmaSq = filter2(sWindow, img.*img, 'valid') - muSq;

ed(:,:,i) = sqrt( max( wSize^2 * sigmaSq, 0 ) ) + 0.001; % add a small constant to avoid instability

end

R = zeros(s1-2*bd,s2-2*bd); % consistency map which could be used as an output if necessary

for i = bd+1:s1-bd

for j = bd+1:s2-bd

vecs = reshape(imgSeq(i-bd:i+bd,j-bd:j+bd,:),[wSize*wSize, s3]);

denominator = 0;

for k = 1:s3

denominator = denominator + norm(vecs(:,k) - mu(i-bd,j-bd,k));

end

numerator = norm(sum(vecs,2) - mean(sum(vecs,2)));

R(i-bd,j-bd) = (numerator + eps) / (denominator + eps);

end

R(R > 1) = 1 - eps; % get rid of numerical instability

R(R < 0) = 0 + eps;

p = tan(pi/2 * R);

p( p > 10 ) = 10; % to avoid blow up (large number such as 10 is equivalent to taking maximum)

p = repmat(p,[1,1,s3]);

wMap = (ed / wSize).^p + eps; % to avoid blowing up

normalizer = sum(wMap,3);

wMap = wMap ./ repmat(normalizer,[1,1,s3]);

maxEd = max(ed,[],3);

C = (K * 255)^2;

qMap = zeros(s1-2*bd, s2-2*bd);

for i = bd+1:s1-bd

for j = bd+1:s2-bd

blocks = imgSeq(i-bd:i+bd,j-bd:j+bd,:);

rBlock = zeros(wSize,wSize);

for k = 1 : s3

rBlock = rBlock + wMap(i-bd,j-bd,k) * ( blocks(:,:,k) - mu(i-bd,j-bd,k) ) / ed(i-bd,j-bd,k);

end

if norm(rBlock(:)) > 0

rBlock = rBlock / norm(rBlock(:)) * maxEd(i-bd,j-bd);

end

fBlock = fI(i-bd:i+bd,j-bd:j+bd);

rVec = rBlock(:);

fVec = fBlock(:);

mu1 = sum( window(:) .* rVec );

mu2 = sum( window(:) .* fVec );

sigma1Sq = sum( window(:) .* (rVec - mu1).^2 );

sigma2Sq = sum( window(:) .* (fVec - mu2).^2 );

sigma12 = sum( window(:) .* (rVec - mu1) .* (fVec - mu2) );

qMap(i-bd,j-bd) = ( 2 * sigma12 + C ) ./ ( sigma1Sq + sigma2Sq + C );

end

Q = mean2(qMap);

⛳️ 运行结果

🔗 参考文献

Qi, G.; Chang, L.; Luo, Y.; Chen, Y.; Zhu, Z.; Wang, S. A Precise Multi-Exposure Image Fusion Method Based on Low-level Features. Sensors 2020, 20, 1597.