46、基于边缘保留滤波器的高动态范围（HDR）图像多尺度分解

基于边缘保留滤波器的高动态范围（HDR）图像多尺度分解

1. 引言

在当今的图像处理领域，高动态范围（HDR）图像的呈现是一个重要的研究课题。动态范围指的是最高光强度值与最低光强度值的比值，通常以曝光值或档为单位进行衡量。自然场景的动态范围极高，例如被明亮阳光照亮且带有深阴影的场景，其动态范围可达 100,000:1。然而，常见的图像采集设备（如数码相机、摄像机）和传统显示设备（如 CRT 或 LCD 显示器、打印机）都属于低动态范围媒体，其动态范围仅为 100:1。

为了在这些低动态范围媒体上呈现 HDR 图像，需要进行色调映射。常见且高效的方法是将 HDR 图像分解为多层，其中大尺度的强度变化分配给基础层，小尺度的强度变化分配给细节层。在保留细节层的同时压缩基础层，然后将两层合并，最终在传统显示设备上显示处理后的图像。这一过程仅降低了对比度，同时保留了图像的细节。

下面是 HDR 图像呈现的基本流程：

graph LR
    A[采集不同曝光的 LDR 图像] --> B[估计辐射响应函数]
    B --> C[计算辐射度图]
    C --> D[色调映射]
    D --> E[在 LDR 媒体上显示]

2. 常见的色调映射方法及其局限性

• 全局转移曲线法 ：这是将 HDR 辐射图像压缩到 LDR 色域的最简单方法，通过伽马曲线将 HDR 图像映射到可显示的色域。但如果对每个通道单独应用伽马曲线，会导致颜色变淡。为解决这个问题，可将图像基于亮度和色度分量分解为两层，对亮度层应用全局映射，再重建彩色图像。不过，这种全局方法在处理曝光范围较窄的图像时效果较好，对于曝光范围差异较大的图像，无法有效保留细节。
• 类似减薄和加厚法 ：先将图像分解为亮度通道和色度通道，对图像的对数亮度进行低通滤波得到基础层，从对数亮度中减去基础层得到细节层。然后将基础层缩放到所需的对数亮度范围以降低对比度，将缩放后的基础层与细节层相加得到新的对数亮度图像，最后取指数得到色调映射后的亮度图像。但该方法在细节层对比度较大时，会在边缘周围产生光晕伪影。因此，线性滤波器不适合用于色调映射，需要使用局部边缘保留滤波器进行分解。

3. 边缘保留滤波器的分类

能够保留边缘并平滑图像的滤波器可分为两类：
| 滤波器类型 | 包含的滤波器 | 特点 |
| ---- | ---- | ---- |
| 局部优化滤波器 | 各向异性和鲁棒各向异性扩散、双边滤波及其不同版本、引导图像滤波、加权引导图像滤波器、全局梯度引导图像滤波器 | 效率高，但存在光晕和梯度反转效应 |
| 全局优化滤波器 | 加权最小二乘滤波器、总变差（TV）、快速加权最小二乘法（FWLS）、L - 范数梯度最小化 | 图像质量好，但计算成本高、耗时 |

4. 局部优化滤波器详解

4.1 各向异性扩散

各向异性扩散是一种早期用于减少图像噪声并保留边缘的方法。它类似于形成尺度空间的技术，通过扩散过程创建一系列连续模糊的图像。在这个过程中，图像中的每个像素被视为一个能量同步点，它与相邻像素基于像素强度差异和从局部边缘近似得到的电导值进行交互。

各向异性扩散将图像分解为多层，基础层是平滑层，细节层是差值层。两层都可以使用增强算法（如阿尔法根算法或对数转移移位算法）进行增强，然后将两层融合。该方法使用能量扩散方程，以滤波图像本身的梯度作为扩散过程的引导，避免边缘平滑，并且具有绝热性，即能保留能量。

然而，各向异性扩散也存在一些局限性：
- 平滑边缘周围会出现“阶梯效应”。
- 由于其离散扩散性质，处理速度较慢。
- 问题的不适定性使得即使输入有微小变化，输出也可能发生较大变化。
- 会过度锐化图像边缘。
- 作为非迭代函数，收敛速度慢，为了得到分段平滑图像，需要在扩散过程中停止操作，因为最终它会收敛到一个恒定图像。

不过，Qiaosong Chen 等人提出了一种基于仿射高斯尺度空间的算法，用于处理 HDR 图像。该算法从 HDR 图像中提取各向异性特征，通过拟合和仿射变换将其转换为各向同性，然后通过减薄和加厚处理形成基础层，通过两尺度边缘保留分解形成细节层，最后将两层合并得到最终输出图像，该方法在处理高扭曲和姿态变化的 HDR 图像时效果较好。

4.2 双边滤波器

双边滤波器是一种高效的滤波器，它在平滑图像的同时能够保留图像的不连续性，并且可以根据不同尺度将图像分解为两层。其原理是，在光度范围内相似的像素与在空间位置上相邻的像素被视为相近的，这也是双边滤波器与高斯滤波器的区别所在。

双边滤波器的定义如下：
[B[I] x = \sum G {\sigma_s}(||x - y||)G_{\sigma_r}(I_x - I_y)I_y]
其中，(BF[I] x) 是归一化加权平均值。(G {\sigma_r}) 是范围高斯函数，用于降低与 (I_x) 强度值不同的像素 (y) 的影响；(G_{\sigma_s}) 是空间高斯函数，用于降低远处像素的影响。如果没有参数 (G_{\sigma_r})，双边滤波器就变成了高斯滤波器。

归一化因子 (W_x) 的计算公式为：
[W_x = G_{\sigma_s}(||x - y||)G_{\sigma_r}(I_x - I_y)]

图像的滤波程度由参数 (\sigma_s) 和 (\sigma_r) 衡量。仅增加 (\sigma_s) 无法实现激进的平滑效果，还需要增加 (\sigma_r)。随着 (\sigma_r) 的增加，范围高斯函数变得更平坦，双边滤波器更接近高斯模糊，保留边缘的能力也随之降低。当 (\sigma_s) 增加时，较大的特征会被平滑。

双边滤波器将图像分解为两层：基础层包含较大尺度的组件，详细层包含较小尺度的组件（双边滤波器的残差）。除了色调映射，双边滤波器还可用于色调管理、纹理和光照分离、去噪、闪光/无闪光成像等。在处理视频时，也能保留结构，此时对 HDR 图像的对数强度应用滤波器，将其分解为基础层和详细层，然后将缩放后的基础层与细节层相加。

双边滤波器的多尺度分解可以通过多种方式实现：
- 迭代应用时空双边滤波器 ：在粗化过程中，为避免边缘模糊，可减小范围高斯宽度。
- 逐步增加空间高斯 ：同样是为了在粗化过程中避免边缘模糊。

然而，双边滤波器也存在一些缺点：
- 由于在每个位置都需要在大邻域内估计加权和，执行时间较长。
- 在保留边缘的过程中，会锐化一些边缘，产生“阶梯效应”。
- 需要预先定义像素邻域区域，但确定合适的邻域区域较为困难。如果选择的区域过小，滤波性能会受限；如果选择的区域过大，可能会导致跨区域混合。
- 在细节增强过程和 HDR 压缩中，沿某些边缘会产生梯度反转伪影。
- 在数据平滑和边缘保留之间存在权衡。如果过度平滑，在分离平均表面和细节表面时，图像边缘可能会出现光晕伪影。
- 作为非线性滤波器，计算成本较高。

为了改进双边滤波器，人们提出了一些改进方法：
- 递归双边滤波器 ：Yang 提出的递归版本定义了双边滤波器的光度距离为：
[pd_{BF}(I_x, I_y) = \sum_{a,a + 1 \in \varphi} ||I_{a + 1} - I_a||^2]
其中，(\varphi) 是连接像素 (x) 和 (y) 的预定义路径。通过沿着路径 (\varphi) 累加相邻像素之间的所有距离来计算光度距离。虽然这种方法降低了计算成本，但保留边缘的能力变差，容易出现跨区域混合的问题。
- 传播滤波器 ：与双边滤波器目标相同，基于图像像素之间的光度关系工作，无需使用任何空间滤波函数，缓解了跨区域混合问题，能更好地保留图像特征。
- 快速双边滤波 ：使用两种加速技术：一是利用 FFT 和快速卷积进行计算，因为此时双边滤波器已线性化；二是对关键操作进行抽取，采用空间域子采样和强度域分段线性近似两种策略。
- 联合双边滤波器 ：使用另一个引导图像来计算输入权重，而不是直接进行滤波。当难以提取图像边缘信息时，该滤波器的性能更好。

4.3 引导图像滤波

引导图像滤波是一种用于边缘保留的平滑滤波器，在边缘附近表现良好，没有梯度反转伪影，非常适合用于细节增强和 HDR 压缩。它通过对引导图像进行线性变换得到滤波输出，输出图像比输入图像更不光滑且更具结构。无论强度范围和内核大小如何，该滤波器的算法速度相对较快，且具有非近似线性时间的特点。

引导图像滤波基于引导图像 (I) 进行设计，输出图像 (q) 与引导图像 (I) 建模。设 (q) 是在以像素 (k) 为中心的窗口 (w_k) 内 (I) 的线性变换：
[q_i = x_k I_i + y_k \quad \forall i \in \omega_k]
其中，系数 ((x_k, y_k)) 在 (w_k) 内是线性且恒定的。局部线性模型确保如果图像 (I) 有边缘，那么 (q) 也会有边缘。通过滤波的约束条件确定 ((a_k, b_k))，去除输出后可得到 (q)：
[q_i = p_i - n_i]

然而，引导图像滤波也存在一些缺点。在少数边缘附近会出现不需要的边缘平滑现象，即“光晕”。这是因为使用的线性模型在边缘附近无法很好地表示图像。

基于边缘保留滤波器的高动态范围（HDR）图像多尺度分解

5. 全局优化滤波器详解

5.1 加权最小二乘滤波器

加权最小二乘滤波器旨在通过最小化一个包含数据项和正则化项的能量函数来平滑图像并保留边缘。数据项确保滤波后的图像接近原始图像，正则化项则控制图像的平滑程度。其能量函数一般形式为：
[E(u)=\sum_{i}(u_i - p_i)^2+\lambda\sum_{i,j}w_{ij}(u_i - u_j)^2]
其中，(u) 是滤波后的图像，(p) 是原始图像，(\lambda) 是平衡数据项和正则化项的参数，(w_{ij}) 是像素 (i) 和 (j) 之间的权重。

加权最小二乘滤波器通过迭代求解上述能量函数的最小值来得到滤波结果。它能够在平滑图像的同时很好地保留边缘，输出的图像质量较高。但由于需要迭代求解，计算成本相对较高，处理时间较长。

5.2 总变差（TV）滤波器

总变差滤波器基于图像的总变差最小化原理。图像的总变差定义为图像梯度的 (L^1) 范数，即：
[TV(u)=\sum_{i}|\nabla u_i|]
其中，(\nabla u_i) 是像素 (i) 处的梯度。总变差滤波器通过最小化图像的总变差来平滑图像，同时保留边缘。

总变差滤波器在去除噪声和保留边缘方面表现出色，能够得到分段平滑的图像。然而，它的计算复杂度较高，特别是在处理大规模图像时，需要较长的计算时间。

5.3 快速加权最小二乘法（FWLS）

快速加权最小二乘法是对加权最小二乘滤波器的改进，旨在降低计算成本。它通过一些优化策略，如采用快速迭代算法和稀疏矩阵运算，加快了求解能量函数最小值的过程。

FWLS 在保留边缘和图像质量方面与加权最小二乘滤波器相近，但计算速度明显提高。不过，它仍然需要一定的计算资源，对于实时性要求极高的应用场景可能还不够理想。

5.4 L - 范数梯度最小化

L - 范数梯度最小化方法通过最小化图像梯度的 (L^p) 范数（通常 (p = 1) 或 (p = 2)）来实现图像的平滑和边缘保留。与总变差滤波器类似，它也能有效地去除噪声并保留边缘。

不同的 (p) 值会影响滤波效果。当 (p = 1) 时，更倾向于保留尖锐的边缘；当 (p = 2) 时，滤波结果相对更平滑。该方法的计算复杂度也较高，需要一定的计算时间来得到最优解。

6. 不同滤波器的性能比较

为了评估不同边缘保留滤波器在 HDR 图像多尺度分解中的性能，通常会使用一些指标，如峰值信噪比（PSNR）、修正峰值信噪比（mPSNR）和高动态范围视觉感知模型（HDRVDP3）。以下是几种常见滤波器的性能对比表格：
| 滤波器类型 | PSNR | mPSNR | HDRVDP3 | 计算复杂度 | 边缘保留效果 |
| ---- | ---- | ---- | ---- | ---- | ---- |
| 各向异性扩散 | 中等 | 中等 | 中等 | 高 | 较好，但有“阶梯效应” |
| 双边滤波器 | 较高 | 较高 | 较高 | 高 | 较好，但有“阶梯效应”和梯度反转 |
| 引导图像滤波 | 高 | 高 | 高 | 低 | 好，无梯度反转 |
| 加权最小二乘滤波器 | 高 | 高 | 高 | 高 | 好 |
| 总变差（TV）滤波器 | 高 | 高 | 高 | 高 | 好 |
| 快速加权最小二乘法（FWLS） | 高 | 高 | 高 | 中等 | 好 |
| L - 范数梯度最小化 | 高 | 高 | 高 | 高 | 好 |

从表格中可以看出，全局优化滤波器在图像质量指标上表现较好，但计算复杂度普遍较高；局部优化滤波器计算复杂度相对较低，但在边缘保留和图像质量上可能存在一些问题。

7. 结论

在高动态范围（HDR）图像的处理中，将图像分解为基础层和细节层的多尺度分解方法是实现色调映射的有效途径。边缘保留滤波器在这个过程中起着关键作用，不同类型的滤波器具有各自的优缺点。

局部优化滤波器（如各向异性扩散、双边滤波器和引导图像滤波）效率较高，但存在一些诸如“阶梯效应”、梯度反转和光晕等问题。而全局优化滤波器（如加权最小二乘滤波器、总变差滤波器等）能够提供高质量的图像，但计算成本高、耗时。

在实际应用中，需要根据具体的需求和场景选择合适的滤波器。如果对实时性要求较高，可以选择局部优化滤波器；如果对图像质量要求极高，且计算资源充足，则可以考虑全局优化滤波器。同时，也可以结合多种滤波器的优点，开发出更高效、更优质的 HDR 图像多尺度分解方法。未来的研究方向可以集中在进一步降低全局优化滤波器的计算复杂度，以及改进局部优化滤波器以减少其存在的问题。

以下是一个简单的流程图，展示了选择合适滤波器的决策过程：

graph LR
    A[应用需求] --> B{实时性要求高?}
    B -- 是 --> C[选择局部优化滤波器]
    B -- 否 --> D{计算资源充足?}
    D -- 是 --> E[选择全局优化滤波器]
    D -- 否 --> F[考虑折衷方案或改进算法]

通过对不同边缘保留滤波器的深入研究和比较，我们能够更好地理解它们的特性，从而为 HDR 图像的处理提供更有效的解决方案。