Invertible Image Signal Processing 可逆图像信号处理

摘要
未经处理的 RAW 数据是一种非常有价值的图像格式，可用于图像编辑和计算机视觉。然而，由于 RAW 数据的文件大小巨大，大多数用户只能访问经过处理和压缩的 sRGB 图像。为了弥合这一差距，我们设计了一个可逆图像信号处理 (InvISP) 管道，它不仅可以渲染视觉上吸引人的 sRGB 图像，还可以恢复近乎完美的 RAW 数据。由于我们框架固有的可逆性，我们可以重建逼真的 RAW 数据，而不是从 sRGB 图像合成 RAW 数据，而无需任何内存开销。我们还集成了一个可区分的 JPEG 压缩模拟器，使我们的框架能够从 JPEG 图像重建 RAW 数据。在两台 DSLR 上进行的大量定量和定性实验表明，与其他方法相比，我们的方法在渲染的 sRGB 图像和重建的 RAW 数据中获得了更高的质量。
1. Introduction
专业摄影师可以选择自己处理 RAW 图像而不是 RGB 图像，以产生具有更好视觉效果的图像，因为 RAW 数据由相机以 12-14 位捕获每个未处理的场景辐照度。由于其与场景辐照度的线性关系，对于许多图像编辑和计算机视觉任务，例如光度立体、固有图像分解、图像去噪、反射去除和图像超分辨率，原始传感器数据也是比 RGB 图像更好的选择 [4] , 7, 16, 27, 28, 31, 40, 41, 46]。然而，由于 RAW 图像对内存的要求很高，因此访问它们可能会非常困难：RAW 图像可能会在数据存储、传输和共享过程中被丢弃。在本文中，我们对以下问题感兴趣：用户能否在不显式存储的情况下访问真实的 RAW 数据？
由于RAW图像的巨大优势，已经有许多方法来提供从sRGB图像到其RAW对应图像的映射[2, 7, 30, 32, 37, 45]。 Nguyen等人[32]建议将sRGB-RAW映射函数的参数明确地存储到JPEG元数据中，以便进行预期的RAW重建。Brooks等人[7]利用相机的先验信息（如色彩校正矩阵和数字增益）来逐步逆转ISP。另一项工作[30, 37, 45]遵循ISP的逆向顺序，提出了基于学习的方法，从sRGB图像合成RAW数据。然而，这些方法仍然依赖于底层的相机内ISP管道，恢复的RAW图像是不准确的，可能与原始图像不同。
在这项工作中，我们通过将相机图像信号处理管道重新设计为可逆管道，提出了一种新颖有效的学习解决方案，可以恰当地称为可逆 ISP (InvISP)。我们基于学习的 InvISP 能够在正向过程中渲染视觉上吸引人的 RGB 图像，并通过反向过程从压缩的 RGB 图像中恢复近乎完美质量的原始传感器数据。我们重建的 RAW 数据与真实的 RAW 数据几乎相同，并支持计算机视觉应用，例如图像修饰和 HDR 重建，如图 1 所示。
出于至少三个原因，设计可逆 ISP 并非易事。首先，传统 ISP 中的一些步骤，例如去噪、色调映射和量化，可能会导致从宽范围（12 位或 14 位）原始传感器数据到 8 位 RGB 图像的不可避免的信息丢失。其次，可逆 ISP 不应产生光晕和重影等视觉伪影 [18]。为了呈现视觉上吸引人的 sRGB 图像，必须在 ISP 中仔细设计去噪、去马赛克、色彩校正、白平衡增益、色调映射和色彩增强。第三，现代数码相机以 JPEG 格式存储 RGB 图像，其中有损压缩过程使得重建高质量 RAW 数据极具挑战性。
为了克服这些挑战，我们利用基于归一化流的模型的固有可逆性 [12、25]，并在我们的可逆 ISP 中使用一个可逆神经网络设计 RAW 到 RGB 和 RGB 到 RAW 映射。我们深入分析传统ISP的特性，设计出既能很好地逼近相机ISP又能重建出与相机RAW数据几乎相同的RAW数据的特定模块。具体来说，我们使用仿射耦合层堆栈的组合来设计我们的模型，并利用可逆的 1×1 卷积作为耦合层之间的可学习置换函数。此外，为了使我们的模型能够从 JPEG 图像中恢复真实的 RAW 数据，我们将可区分的 JPEG 模拟器集成到我们的可逆神经网络中。我们利用傅里叶变换的思想来取代 JPEG 压缩中的不可微分量化步骤。因此，我们的端到端 InvISP 框架绕过了传统的 ISP 模块，并最大限度地减少了 RAW 数据和 RGB 图像转换的信息损失。我们双向训练我们的网络以联合优化 RGB 和 RAW 重建过程。我们通过实验证明，我们的框架可以在不牺牲 RGB 重建性能的情况下恢复比最先进的基线更好的 RAW 数据。
据我们所知，我们的框架是从将相机 ISP 重新设计为可逆 ISP 的角度进行 RAW 数据重建的第一次尝试。我们的方法可以解决 ISP 模块中的信息丢失问题，并且对 JPEG 压缩步骤具有鲁棒性。我们证明了我们的方法在两个 DSLR 相机上的有效性，并表明我们的方法在很大程度上优于最先进的基线。此外，我们还通过 RAW 数据压缩、图像修饰和 HDR 重建展示了潜在的应用。

图 1. 我们的 ISP 模型不仅可以渲染视觉上令人愉悦的 RGB 图像，还可以恢复与原始 RAW 数据几乎相同的 RAW 图像。恢复的 RAW 数据对摄影师很有价值，并且有利于许多计算机视觉任务，例如 HDR 重建 [33]、图像修饰 [22] 和 RAW 压缩。在这里，RAW 图像通过双线性去马赛克可视化。
2. Related Work
RAW图像重建。从sRGB图像中恢复RAW已经被充分研究了[37, 32, 2, 7, 45, 31, 30]。Nguyen等人[32]将ISP中的参数编码为JPEG元数据，开销为64KB，并使用它们从JPEG图像中重建RAW。Brooks等人[7]提出用相机先验条件一步步反演ISP管道。CIE-XYZ网[2]建议将RAW从sRGB图像恢复到独立于相机的CIE-XYZ空间。 CycleISP[45]提议对RGB-RAW-RGB数据转换周期进行建模，以便从sRGB图像中合成RAW。 与之前的方法不同，我们的目标是通过重新设计相机的ISP，使其成为一个可逆的ISP，从而从根本上解决RAW重建问题。
图像信号处理