【CycleISP: Real Image Restoration via Improved Data Synthesis】ISP论文--1(个人笔记，勿喷)

摘要
大规模数据集的可用性有助于释放深度卷积神经网络 (CNN) 的真正潜力。然而，对于单图像去噪问题，捕获真实数据集是一个无法接受的昂贵和繁琐的过程。因此，图像去噪算法主要是在合成数据上开发和评估的，这些合成数据通常是在广泛假设加性高斯白噪声 (AWGN) 的情况下生成的。尽管 CNN 在这些合成数据集上取得了令人印象深刻的结果，但正如最近的基准数据集所报告的那样，它们在应用于真实相机图像时表现不佳。这主要是因为 AWGN 不足以模拟真实的相机噪声，这种噪声是信号相关的并且由相机成像管道进行大量转换。在本文中，我们提出了一个在正向和反向方向上对相机成像管道进行建模的框架。它允许我们生成任意数量的真实图像对，用于在 RAW 和 sRGB 空间中进行去噪。通过在真实的合成数据上训练一个新的图像去噪网络，我们在真实的相机基准数据集上实现了最先进的性能。我们模型中的参数比以前最好的 RAW 去噪方法小 5 倍。此外，我们证明了所提出的框架可以推广到图像去噪问题之外，例如，用于立体电影中的颜色匹配。源代码和预训练模型可在 https://github.com/swz30/CycleISP 获得。
1. Introduction
由于深度 CNN [33]，高级计算机视觉任务（例如图像分类、对象检测和分割）取得了重大进展。 CNN 成功背后的主要驱动力是大规模数据集 [17, 38] 的可用性，其中包含数十万张带注释的图像。然而，对于低层次的视觉问题（图像去噪、超分辨率、去模糊等），即使是收集很小的数据集也极具挑战性和重要性。例如，获取噪声配对数据的典型过程是拍摄同一场景的多个噪声图像，并通过逐像素平均生成干净的真实图像。在实践中，由于光照条件和相机/物体运动的变化，空间像素错位、颜色和亮度失配是不可避免的。此外，这种获取图像对的昂贵且繁琐的操作需要使用不同的相机传感器重复进行，因为它们表现出不同的噪声特性。

图 1：从 DND 数据集 [44] 中对真实摄像机图像进行去噪。我们的模型可以有效去除真实噪声，尤其是低频色度和缺陷像素噪声。

因此，单张图像去噪主要是在合成设置中执行的：获取大量干净的 sRGB 图像并添加合成噪声以生成它们的噪声版本。在合成数据集上，现有的基于深度学习的去噪模型产生了令人印象深刻的结果，但与传统方法相比，它们对真实相机数据的泛化能力较差 [8, 15]。最近的基准测试也证明了这一趋势 [1, 44]。这种行为源于这样一个事实，即深度 CNN 是在通常使用加性高斯白噪声 (AWGN) 假设生成的合成数据上进行训练的。真实的相机噪声与 AWGN 根本不同，因此对深度 CNN 造成了重大挑战 [6、22、24]。
在本文中，我们提出了一种合成数据生成方法，可以在 RAW 和 sRGB 空间中生成逼真的噪声图像。主要思想是在通过我们学习的与设备无关的转换获得的 RAW 图像中注入噪声，而不是直接在 sRGB 图像中注入噪声。我们框架背后的关键见解是，sRGB 图像中存在的真实噪声是由常规图像信号处理 (ISP) 管道 [6, 46] 中执行的一系列步骤复杂化的。因此，与 RAW 传感器数据 [35] 相比，在 sRGB 中对真实相机噪声进行建模本质上是一项艰巨的任务。例如，RAW 传感器空间的噪声与信号有关；在去马赛克之后，它变得空间色相关；在通过管道的其余部分后，其概率分布不一定保持高斯分布[52]。这意味着相机 ISP 会大量转换传感器噪声，因此需要考虑成像管道影响的更复杂的模型来合成真实噪声，而不是统一的 AWGN 模型 [1, 26, 44]。
为了利用 Internet 上可用的 sRGB 照片的丰富性和多样性，所提出的合成方法的主要挑战是如何将它们转换回 RAW 测量值。布鲁克斯等人。 [7] 提出了一种逐步反转相机 ISP 的技术，从而允许从 sRGB 转换为 RAW 数据。然而，这种方法需要有关目标相机设备的先验信息（例如，颜色校正矩阵和白平衡增益），这使其特定于给定设备，因此缺乏普遍性。此外，相机管道中的一些操作是专有的，这样的黑匣子很难逆向工程。为了应对这些挑战，在本文中，我们提出了一个 CycleISP 框架，该框架将 sRGB 图像转换为 RAW 数据，然后再转换回 sRGB 图像，而不需要任何相机参数知识。这个属性允许我们在 RAW 和 sRGB 空间中合成任意数量的干净和逼真的噪声图像对。我们的主要贡献是：
• 学习一种与设备无关的转换，称为 CycleISP，它允许我们在 sRGB 和 RAW 图像空间之间来回移动。
• 真实图像噪声合成器，用于在 RAW 和 sRGB 空间中生成干净/嘈杂的配对数据。
• 具有双重注意机制的深度 CNN，可在多种任务中有效：学习 CycleISP、合成真实噪声和图像去噪。
• 从 RAW 和 sRGB 图像中去除噪声的算法，在 DND [44] 和 SIDD [1] 的真实噪声基准上设置新的最先进技术（见图 1）。此外，我们的去噪网络的参数（2.6M）比之前的最佳模型（11.8M）[7]少得多。
• CycleISP 框架超越了去噪，我们通过一个额外的应用来证明这一点，即立体电影中的色彩匹配。