《Unprocessing Images for Learned Raw Denoising》论文阅读

摘要

当用于训练的数据与用于评估的数据相似时，机器学习技术最有效。这对于学习过的单图像去噪算法来说是正确的，这些算法应用于真实的原始相机传感器读数，但由于实际的限制，通常在合成图像数据上进行训练。虽然从合成图像推广到真实图像需要仔细考虑相机传感器的噪声特性，图像处理管道的其他方面(如增益、颜色校正和色调映射)常常被忽略，尽管它们对原始测量数据如何转换成最终图像有重要影响。为了解决这个问题，我们提出了一种通过反转图像处理管道的每个步骤来反处理图像的技术，从而使我们能够从普遍可用的互联网照片合成现实的原始传感器测量。此外，在评估我们的损失函数时，我们还对图像处理管道的相关组件建模，这使得训练能够意识到去噪后将发生的所有相关光度处理。通过对训练数据和模型输出进行反处理和处理，我们可以训练出一个简单的卷积神经网络，它的错误率在Darmstadt Noise数据集上比之前的技术低14%-38%，快9-18，也适用于这个数据集之外的传感器数据。

一、引言

传统的单图像去噪算法通常是对图像的性质及其要去除的噪声进行分析建模。相比之下，现代的去噪方法通常使用神经网络来学习从噪声图像到无噪声图像的映射。深度学习能够表示图像和噪声的复杂属性，但是训练这些模型需要大的成对数据集。因此，大多数基于学习的去噪技术依赖于合成训练数据。尽管在设计用于去噪的神经网络方面做了大量的工作，最近的基准测试表明，在对真实的噪声原始图像进行评估时，深度学习模型往往比传统手工设计的算法表现得更好。我们认为，造成这种差异的部分原因是不现实的合成训练数据。由于噪声是加性的、白噪声和高斯噪声的假设，许多经典算法对真实数据的推广效果很差。最近的工作已经发现了这种不准确性，并转移到更复杂的噪声模型，更好地匹配物理图像形成。但是，这些技术没有考虑典型图像处理管道的许多步骤。为了改善人工训练数据与真实原始图像之间的不匹配，一种方法是利用降噪算法所针对的同一摄像机捕获有噪声和无噪声的图像对。然而，捕捉噪声和无噪声的图像对是困难的，需要长时间曝光或多摄图像，以及后处理来应对相机的运动和照明变化。获取这些图像对既昂贵又耗时，而在训练神经网络时，为了防止过度拟合，需要大量的训练数据，这又加剧了这个问题。此外，由于不同的相机传感器表现出不同的噪声特征，将一种学习去噪算法应用到新的相机传感器可能需要捕获新的数据集。

图1 来自Darmstadt噪声数据集的图像，其中我们给出(a)噪声输入图像，(b)地面真值无噪声图像，(c)先前最先进算法的输出，以及(d)模型的输出。四幅图像均由原始Bayer空间转换为sRGB进行可视化。每个结果旁边是三个裁剪的子图像，用最近邻插值渲染。更多结果见补充。

当适当建模时，合成数据是简单和有效的。数字传感器的物理特性和成像管道的步骤已经得到了很好的理解，可以利用它们从几乎任何图像中生成训练数据，只需要使用目标摄像机传感器的基本信息。提出了一种对图像处理管道关键部件建模的系统方法，对一般的互联网图像进行反处理以生成真实的原始数据，并将传统的图像处理操作集成到神经网络的训练中。在Darmstadt Noise数据集中对真实的噪声原始图像进行评估时，我们的模型的错误率降低了14%-38%，比以前的技术水平快了9 -18个百分点。模型输出的可视化结果如图1所示。我们的反处理和处理方法还可以在生成我们的综合训练数据时，泛化没有明确建模设备捕获的图像。本文从以下几个方面展开:第2节对相关工作进行了回顾。在第3节中，我们详细介绍了原始图像处理管道的步骤，并定义了每个步骤的逆过程。在第4节中，我们提出了将一般的网络图像处理为合成原始数据的反处理程序，修改训练损失以适应原始处理，训练我们简单有效的去噪神经网络模型。在第5节中，我们展示了我们的模型在Darmstadt噪声数据集上的改进性能，并提供了一个消融研究，隔离了我们方法的各个方面的相对重要性。

二、相关工作

单幅图像去噪一直是计算机视觉和图像处理领域的研究热点。经典的技术，如各向异性扩散、全变差去噪和小波核取心，在信号和噪声都表现出特定统计规律的前提下，使用手工设计的算法从噪声输入中恢复干净的信号。这些参数化模型虽然简单有效，但其容量和表达能力有限，这使得人们对BM3D和非局部均值等非参数、自相似性驱动的技术越来越感兴趣。从简单的分析技术向数据流方法的转变继续以词典学习和KSVD和专家领域等基本搜索算法的形式进行，这些算法通过查找稀疏性保持或统计规律建模良好的图像表示形式进行操作。在现代，大多数单图像去噪算法完全是数据驱动的，由深度神经网络组成，经过训练可以从噪声图像回归到去噪图像。最经典的去噪工作是在图像噪声为加性、白噪声和高斯噪声的假设下进行的。该模型虽然方便、简单，但并不现实，光子到达传感器的随机过程更适合描述为“拍摄”和“读取”噪声。整体噪声可以更准确地建模为包含高斯和泊松信号相关分量或者从一个方差是强度函数的异方差高斯分布中采样。分析建模图像噪声的一种替代方法是使用真实的噪声和无噪声图像的例子。这可以通过捕捉由一对真实照片组成的数据集来实现，其中一张照片是短曝光，因此会产生噪声，而另一张照片是长曝光，因此基本上没有噪声。这些数据集可以观察到，使用合成数据训练的最新技术被老模型(如BM3D)所超越。因此，最近的工作通过收集这些真实的、成对的数据显示出了进展，这些数据不仅用于评估，而且用于训练模型。这些方法显示了巨大的希望，但将这种技术应用于特定的相机需要大量的艰苦的收集与仅需要合成训练数据或校准参数的老技术相比，该摄像机的训练数据需要完全对齐，大大增加了从业者的负担。此外，还不清楚该数据集采集程序如何用于捕捉小运动无处不在的对象，如水、云、树叶或生物。最近的研究表明，可以使用同一场景的多个噪声图像作为训练数据而不是成对的噪声和无噪声图像，但这并没有很大程度上减轻这些大型真实照片数据集的局限性或劳动要求。虽然人们普遍认为，在图像形成过程中对噪声进行正确的建模是学习有效去噪算法的关键，一个较少被深入探讨的问题是用于将原始传感器读数转换成最终图像的图像处理管道的影响。现代图像处理管道由几个步骤组成，这些步骤转换图像强度，从而影响输入噪声如何缩放或修改，以及最终呈现的图像如何作为原始传感器测量的函数出现。在这项工作中，当为我们的模型合成训练数据时，我们对这些步骤进行建模和反求，并证明这样做可以显著提高去噪性能。

三、方法

这部分描述了传统的图像处理流程，从传感器测量到最终成像的过程。

3.1 ：Shot and Read Noise

由于非线性和像素值之间的相关性，processed image中的噪声具有非常复杂的特性，但是raw sensor data（就是raw image）中的噪声就非常简单，主要是两种：

（1）“shot” noise：photon arrival statistics（光子到达统计）

Shot noise是一个泊松随机变量，其均值为真实光强(以光电子测量)

（2）“read” noise：imprecision in the readout circuitry （读出电路中的不精确）

Read noise是一个近似高斯随机变量，均值为零，方差固定。

将两种noise共同近似为单个异方差高斯分布，强度y视为随机变量，方差是真实信号x的函数：