【Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision通过不准确对齐的监督学习 RAW 到 sRGB 的映射】

摘要
学习 RAW 到 sRGB 映射近年来引起了越来越多的关注，其中训练输入的原始图像以模仿另一台相机捕获的目标 sRGB 图像。然而，严重的颜色不一致使得生成输入原始和目标 sRGB 图像的良好对齐训练对非常具有挑战性。虽然使用不准确对齐的监督进行学习很容易导致像素偏移并产生模糊的结果。在本文中，我们通过提出一种用于图像对齐和 RAW 到 sRGB 映射的联合学习模型来规避这个问题。为了减少图像对齐中颜色不一致的影响，我们引入了使用全局颜色映射（GCM）模块在给定输入原始图像的情况下生成初始 sRGB 图像，该图像可以保持像素的空间位置不变，并且目标 sRGB图像用于引导 GCM 将颜色转换为它。然后部署预训练的光流估计网络 flow estimation network （例如 PWC-Net）来扭曲目标 sRGB 图像以与 GCM 输出对齐。为了减轻不准确对齐监督的影响，利用扭曲的目标 sRGB 图像来学习 RAWto-sRGB 映射。训练完成后，可以将 GCM 模块和光流网络分离，从而不会为推理带来额外的计算成本。实验表明，我们的方法在 ZRR 和 SR-RAW 数据集上表现出色。通过我们的联合学习模型，轻量级主干可以在 ZRR 数据集上实现更好的定量和定性性能。代码可在 https://github.com/cszhilu1998/RAW-to-sRGB
1. Introduction
图像信号处理 (ISP) 管道是指对原始传感器图像进行处理以产生高质量的显示参考 sRGB 图像，因此对于相机系统至关重要。具有代表性的 ISP 管道通常涉及一系列步骤，包括去马赛克、白平衡、色彩校正、色调映射、去噪、锐化、伽马校正等 [40]。虽然目前的相机系统通常采用手工制作的 ISP 解决方案，但卷积网络 (CNN) 在以端到端方式学习深度 ISP 模型方面表现出巨大潜力 [22, 29, 45]。
深度 ISP 的端到端特性使得学习 RAW 到 sRGB 映射以生成用于移动相机的高质量图像 [22] 非常具有竞争力。尽管移动相机已成为主要的照片来源，但与 DSLR 相机相比，它的传感器尺寸更小，光圈也有限。通过学习 RAW 到 sRGB 映射以从移动原始图像生成类似 DSLR 的 sRGB 图像，深度 ISP 模型因此可以提供一种令人鼓舞的方法来缩小移动相机和 DSLR 相机之间的差距。此外，与 8 位 sRGB 图像相比，原始图像通常具有更高的位（例如，10-14 位）并且可以传达更丰富的细节。因此，即使对于其他低级视觉任务，例如图像超分辨率 [62]、低光图像去噪 [8] 和高动态范围成像 (HDR) [6]，学习 RAW 到 sRGB 映射也有利于性能提升.
然而，在准备训练数据时，输入的原始图像和目标sRGB图像通常是用不同的相机（例如，智能手机和数码单反相机）或不同的相机配置（例如，焦距）拍摄。因此，颜色不一致和空间错位通常是不可避免的。一方面，颜色不一致使得生成排列整齐的输入原始图像和目标sRGB图像的训练对变得非常困难。输入的原始图像和目标sRGB图像通常不能被现有的方法完全对齐[34, 49]，从而导致轻微的对齐。另一方面，在不准确对齐的监督下学习，容易出现像素偏移，产生模糊的结果（见图1（b））。为了缓解不准确对齐的不利影响，AWNet[9]采用了全局上下文块[5]，代价是增加推理时间，而Zhang等人[62]提出了一个上下文双边（CoBi）损失来搜索监督的最佳匹配补丁。然而，基于补丁的对齐方式无法恰当地处理由物体之间的深度差异引起的空间变化错位。因此，他们的方法仍然容易产生模糊的结果，如图1（f）所示。
为了规避不准确对齐的监督问题，本文提出了一个用于图像对齐和RAW到sRGB映射的联合学习模型。我们认为，解释不准确/轻微对齐的一个主要原因是输入的原始图像和目标sRGB图像之间存在严重的颜色不一致。否则，现有的光流网络[10, 23, 46]可以很容易地被用来完成图像对齐的任务。因此，我们建议通过将精心设计的全局色彩映射（GCM）模块与预先训练好的光流估计网络（如PWC-Net[46]）连接起来来进行图像配准。特别是，GCM模块涉及一个1×1卷积层的堆叠，以确保映射在空间上是独立的。为了克服颜色不一致的障碍，我们将GCM的输出限制在接近对齐的目标sRGB图像。值得注意的是，GCM仅在训练期间被部署为对齐目标sRGB图像。因此，我们也可以利用目标sRGB图像和坐标图来生成条件指导，以调节GCM的特征，从而减少颜色不一致的情况。然后，一个预先训练好的光流估计网络（例如PWC-Net[46]）可以用来将目标sRGB图像与GCM的输出对准，从而得到对准好的sRGB图像。
经过调整的目标sRGB图像可以作为训练RAW到sRGB映射的一个更好的监督。特别是，我们通过减少 MW-ISPNet [20] 中的剩余通道注意块 (RCAB) 来提出 LiteISPNet。 GCM 和 LiteISPNet 联合训练目标 sRGB 图像的对齐（即 GCM 和 PWC-Net）和 RAW 到 sRGB 的映射（即 LiteISPNet）。训练完成后，GCM 和 PWC-Net 可以分离，只需要 LiteISPNet 来处理测试原始图像，从而不会带来额外的推理成本。在 Zurich RAW 到 RGB（ZRR）数据集 [22] 上的实验表明，我们的解决方案在学习不准确对齐的监督和产生更精细的细节方面是有效的。我们提出的方法在定量指标、感知质量和计算效率方面也优于最先进的方法。此外