Lookup Table meets Local Laplacian Filter: Pyramid Reconstruction Network for Tone Mapping

摘要

色调映射（Tone Mapping）旨在将高动态范围 (HDR) 图像转换为低动态范围 (LDR) 表示，这是相机成像管道中的一项关键任务。 近年来，基于 3 维查找表（3D LUT）的方法因其能够在增强性能和计算效率之间取得良好的平衡而受到关注。然而，这些方法通常无法在局部区域提供令人满意的结果，因为查找表是色调映射的全局运算符，其基于像素值工作并且无法合并关键的局部信息。为此，本文旨在通过探索一种利用封闭式拉普拉斯金字塔分解和重构来集成全局和局部算子的新策略来解决这个问题。 具体来说，我们采用图像自适应 3D LUT 通过利用频率信息的特定特征来操纵低频图像中的色调。此外，我们利用局部拉普拉斯滤波器以自适应方式细化高频分量中的边缘细节。局部拉普拉斯滤波器广泛用于保留照片中的边缘细节，但其传统用法涉及手动调整和相机成像管道或照片编辑工具中的固定实现。 我们建议使用轻量级网络从注释数据中逐步学习局部拉普拉斯滤波器的参数值映射。我们的模型以端到端的方式同时实现全局色调操作和局部边缘细节保留。两个基准数据集上的大量实验结果表明，所提出的方法比最先进的方法表现得更好。

1.介绍

现代相机尽管拥有先进而复杂的传感器，但在给定场景中捕获与人眼相同水平的细节的能力有限。为了捕获更多细节，高动态范围 (HDR) 成像技术 [25, 2] 已被开发出来，可以比传统的低动态范围 (LDR) 成像传达更广泛的对比度和亮度值。 然而，大多数现代图形显示设备的动态范围有限，不足以再现自然场景中存在的全部光强度。为了解决这个问题，人们提出了色调映射技术[28,34,9]来将高对比度场景辐射度渲染到可显示范围，同时保留对于欣赏原始场景内容很重要的图像细节和颜色外观。

传统的色调映射算子可以根据其处理方式分为全局色调映射算子和局部色调映射算子。 全局算子[11,34,7,33,21]根据每个像素的全局特征来映射每个像素，而不考虑其空间定位。 这种方法需要计算整个图像的单个匹配亮度值。因此，处理时间大大减少，但生成的图像可能显示更少的细节。相反，局部算子[6,8,10,24,29]考虑图像中每个像素的空间定位并相应地处理它们。本质上，该方法根据每个像素的特定位置计算其亮度自适应。 因此，所得到的图像变得更容易被人眼视觉识别并展现出增强的细节，尽管代价是处理时间更长。 然而，这些传统算子通常需要经验丰富的工程师进行手动调整，这可能很麻烦，因为评估结果需要跨不同场景进行测试。 尽管系统贡献的目的是简化高性能可执行文件的实现[32,15,27]，但它们仍然需要编程专业知识，会产生随着管道复杂性而增加的运行时成本，并且仅在过滤器的源代码可用时才适用。 因此，寻求 HDR 图像色调映射的自动策略非常有意义。

近年来，由于深度学习技术的快速发展，基于学习的自动增强方法[37,12,5,30,16,35,19]取得了显着的进步[22]。 其中许多方法专注于学习输入高动态范围 (HDR) 和输出低动态范围 (LDR) 图像对之间的密集像素到像素映射。或者，它们预测像素级变换以映射输入 HDR 图像。然而，之前的大多数研究都涉及大量的计算负担，其表现出与输入图像的尺寸相关的线性增长模式。

为了同时提高基于学习的方法的质量和效率，出现了混合方法[17,41,38,36,39]，它将传统算子的图像先验的利用与深度学习中多级特征的集成相结合。基于框架，带来最先进的性能。 在这些方法中，Zeng 等人[38]提出了一种基于图像自适应3维查找表（3D LUT）的新颖方法，该方法具有良好的特性，例如卓越的图像质量、高效的计算处理和最小的内存利用率。 然而，正如作者指出的，利用全局（空间统一）色调映射算子（例如 3D 查找表）可能会在局部区域产生不太令人满意的结果。 此外，该方法需要初始下采样步骤以减少网络计算。 对于高分辨率 (4K) 图像，此下采样过程需要高达 16 倍的大幅缩减系数（通常下采样至 256 × 256 分辨率）。因此，这会导致图像细节的显着损失以及随后增强性能的下降。

为了缓解上述问题，这项工作的重点是整合全局和局部运算符以促进全面的色调映射。受可逆拉普拉斯金字塔分解 [3] 和经典局部色调映射算子局部拉普拉斯滤波器 [29, 1] 的启发，我们提出了一种有效的端到端框架，用于执行全局色调操作的 HDR 图像色调映射任务 同时保留局部边缘细节。 具体来说ÿ