【HDR专题】UltraFusion ：超高动态的多曝光融合

原创于 2025-12-20 20:39:22 发布 · 696 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#图像处理 #HDR #图像融合

HDR 专栏收录该内容

1 篇文章

订阅专栏

在这里插入图片描述

UltraFusion ：超高动态的多曝光融合（2025）

专题介绍
一、研究背景
二、方法细节
三、实验论证
四、总结和思考

本文将对《UltraFusion: Ultra High Dynamic Imaging using Exposure Fusion》这篇文章进行解读，该文提出了一种名为 UltraFusion 的新方法，用于处理具有极大曝光差异（高达9 stops）的高动态范围（HDR）图像融合问题。其核心思路是将曝光融合重新建模为一个**引导式图像修复（guided inpainting）**问题：将过曝图像作为基础，利用欠曝图像作为“软引导”，填充过曝区域中丢失的高光信息。参考资料如下：
参考资料如下：
[1]. 论文地址
[2]. 代码地址

专题介绍

在传统的成像与显示技术中，动态范围受限一直是困扰领域内的一大难题。无论是阳光明媚的户外场景，还是光影交错的室内环境，常规设备往往难以同时精准地呈现高光区域的细节与阴影部分的丰富层次，导致画面要么过曝丢失细节，要么过暗一片模糊，无法完整地还原真实世界的视觉效果。然而，HDR（High Dynamic Range）算法技术的出现，犹如一场视觉革命，它突破了这一瓶颈，通过一系列复杂而精妙的算法处理，极大地拓展了图像的动态范围，让画面的高光部分更加耀眼夺目，同时阴影区域也得以清晰展现，细节纤毫毕现。

随着科技的不断进步，HDR算法技术也在持续演进与创新。从早期的简单多帧合成算法，到如今融合了人工智能、深度学习等前沿技术的智能HDR算法，配合硬件层面的突破与创新，其性能与效果得到了质的飞跃。这些先进的算法能够自动识别不同场景的特点，智能地调整图像的亮度、对比度、色彩饱和度等参数，实现更加精准、自然的HDR效果呈现。同时，针对不同的应用场景，如视频拍摄、安防监控、医疗影像等，HDR算法也在不断优化与定制，以满足多样化的专业需求，展现出强大的适应性与实用性。

本专题旨在跟进和解读HDR技术的发展趋势，为读者分享有价值的HDR方法，欢迎一起探讨交流。

一、研究背景

相机传感器的动态范围远小于真实世界。为了捕捉HDR场景，通常采用多张不同曝光的图像进行融合。然而，现有方法（尤其是曝光融合）在处理极大曝光差异（如9档）和动态场景时效果不佳，主要面临三大挑战：

光流对齐困难：大亮度差异会导致光流等对齐算法失效，容易产生“鬼影”。如下图右侧
物体的成像表征受曝光影响：大多数HDR算法假设曝光不足的图像只是正常图像的一个较暗的版本。但同一物体在不同曝光下外观可能不同，导致融合结果不自然。如下图左侧船舶
色调映射难题：部分算法融合后为HDR图像（高位宽无法直接显示），需要压缩到LDR（Low Dynamic Range）显示，通常会做Tone Mapping操作，这一步也会引入额外问题，如偏色或细节损失。

在这里插入图片描述
现有技术及其优劣势：

技术方案	方法描述	优势	劣势
HDR重建 (HDR Reconstruction)	通过逆向相机响应函数（CRF）在HDR域融合图像，再进行色调映射。	理论上能获得更精确的HDR信息。	流程复杂，依赖CRF和色调映射算法；图像对齐困难时易产生伪影；色调映射效果常不理想。
多曝光融合 (MEF)	直接在LDR域融合图像，绕过CRF和色调映射。	流程简单，计算效率高。	对图像对齐极其敏感；大曝光差异下无法处理；动态场景中鬼影问题严重。
基于扩散模型的HDR/修复方法	利用扩散模型的强大生成能力进行HDR去鬼影或图像修复。	能生成自然、高质量的图像。	多数方法未利用不同曝光图像信息，导致结果可靠性不足；或直接输入双图，无法解决对齐和引导问题。

为了突破现有技术的瓶颈，实现更真实、更高质量的HDR成像（特别是在具有挑战性的夜间、强光对比或动态场景中）。作者提出了“UltraFusion” ，将目标建模成一个引导修复问题，其核心创新为两个方面：

“软引导”机制： 使用欠曝图像作为软引导（soft guidance），而非硬约束，这使其对光照变化和对齐错误不敏感，显著提升了在动态场景下的鲁棒性。
两阶段框架创新：
1. 预对齐阶段：使用光流和一致性检查对欠曝图像进行预对齐并遮盖遮挡区域。
2. 引导修复阶段：基于Stable Diffusion模型，设计了两个关键模块：
  - 分解与融合控制分支 (DFCB)：将欠曝图像分解为结构和颜色信息，通过多尺度交叉注意力机制将其与过曝图像特征融合，引导修复过程。
  - 保真度控制分支 (FCB)：在VAE解码器路径上注入特征，以保留输入图像的细节和色彩，防止修复过程中产生结构变形和纹理失真。

二、方法细节

方案概述：给定一张过曝图 $I_{oe}$ 和欠曝图 $I_{ue}$ ，将过曝图作为参考图像，同时利用欠曝图的信息作为引导，在过曝图的高光区域中修复缺失的信息。

基于此思想，作者设计了一个2-stage网络，由预对齐阶段和引导修复阶段组成。

stage1：预对齐

在这里插入图片描述

该阶段目标是输出粗对齐版本的 $I_{ue \rightarrow oe}$ ，作为后续引导修复阶段的软引导。具体分为以下几步：

亮度匹配：首先通过强度映射函数调整欠曝图像的亮度分布，使其与过曝图像更接近，以利于后续光流估计。
光流估计：使用预训练的RAFT网络，估计过曝图像到欠曝图像和欠曝图像到过曝图像的双向光流。双向光流信息用来做后续的一致性检查。
对齐操作：将 $I_{ue}$ 向 $I_{oe}$ 做Warp对齐，为了避免遮挡边界的鬼影，利用前向-后向一致性检查，识别出遮挡区域 $M$ ，并用Mask将其在对齐后的欠曝图像中屏蔽掉。

其中前向-后向一致性检查是指：如果一个像素点在第一帧中，其在另一帧的对应位置（根据光流）再反向映射回第一帧时，与原始位置不一致，就说明该像素在第一帧中是被遮挡的。

经如上操作，最后输出一个经过粗略对齐、遮挡区域被屏蔽的欠曝图像 $I_{ue \rightarrow oe}$ ，公式表示如下：
$I_{ue \rightarrow oe} = (1 - \mathcal{M}) \cdot \mathcal{W}(I_{ue}, f_{oe \rightarrow ue})$

stage2：引导式修复

在这里插入图片描述

该阶段以预训练的stable diffusion V2.1为基模型。输入为过曝图，预对齐后的欠曝图和扩散Latent $z_t$ 。输出为重构后的结果。

网络结构部分有两个创新之处，分解与融合控制分支（DFCB）和保真度控制分支（FCB）

🟥DFCB分支

即在VAE编码器和扩散U-net之间增加了一个DFCB分支，可训练。

在这里插入图片描述

分解：过暗图直接做软引导不太合适，强度太弱会被模型忽略。因此将欠曝图像分解为结构信息和颜色信息（UV通道），使其对亮度变化鲁棒，不会因为亮度较暗而丢失关键信息。其中结构信息通过归一化亮度通道获得，类似SSIM，具体公式如下。
$S_{ue} = \frac{(Y_{ue} - \mu(Y_{ue}))}{\sigma(Y_{ue})}$
其中， $\mu$ 是均值， $\sigma$ 是方差， $Y$ 是YUV的亮度通道。
特征提取：使用训练好的结构和颜色提取器（GE Block，简单的卷积层即可）提取多尺度特征，做进一步编码。
特征融合：参考ControlNet，用Denoising U-net里的编码器和中间块作为主提取器，也就是图中的ME模块。通过多尺度交叉注意力机制（如下图），将提取的结构和颜色特征注入到扩散U-Net的对应层级，实现引导修复功能。这确保了修复出的高光区域既保留于欠曝图像的结构和颜色，又能与过曝图像的上下文自然融合。