集智书童 | 从RAW到RGB的完美转换：RealCamNet 端到端摄像头成像 Pipeline 提升成像性能 !

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：从RAW到RGB的完美转换：RealCamNet 端到端摄像头成像 Pipeline 提升成像性能 !

近年来，神经摄像头成像管线的最新进展表明取得了显著的进步。然而，实际成像 Pipeline 仍然面临包括系统组件缺乏联合优化、计算冗余和光学畸变（如镜头阴影）在内的挑战。因此，作者提出了一种端到端的摄像头成像 Pipeline （RealCamNet），以提高实际场景下的摄像头成像性能。作者的方法与传统的、分阶段的图像信号处理方法有所不同，而是采用端到端架构。

这种架构可以实现整个 Pipeline 内的联合优化，并恢复坐标偏置的畸变。RealCamNet旨在从RAW转换为RGB的高质量转换和紧凑图像压缩。

具体而言，作者深入分析了坐标相关的光学畸变，例如暗角和暗阴影，并设计了一种新的坐标感知畸变恢复（CADR）模块来恢复坐标偏置的畸变。

此外，作者还提出了一种坐标独立的映射压缩（CIMC）模块来实现色调映射和冗余信息压缩。现有数据集存在对齐错误和过于理想化的条件，使其不适合训练实际场景下的成像 Pipeline 。

因此，作者收集了一个实际场景下的成像数据集。实验结果表明，RealCamNet实现了最佳率失真性能和较低的推理延迟。

1 Introduction

高效成像和压缩技术对于互联网和多媒体行业至关重要。随着数字内容的指数级增长，同时保持图像质量但减小文件大小的技术变得至关重要。这些进步不仅通过确保快速加载图像和视频来提高用户体验，而且还可以节省存储空间并降低数据传输成本。此外，这些技术对于支持高级应用如自动驾驶和远程感知、推动技术创新以及满足多媒体处理日益增长的需求是不可或缺的。因此，开发更高效成像和压缩方法对于推动行业进步并满足现代技术的需求至关重要。

在传统的实际相机成像 Pipeline 中，为了进行图像信号处理（ISP），采用了复杂且专有的硬件过程，包括去噪、去偏色、色调映射和图像压缩等步骤，如图1（a）所示。 Pipeline 中的每个步骤都是单独设计的，这导致了错误累积，并阻止了系统达到最优状态。

大多数传统方法在ISP Pipeline 中的每个步骤都使用启发式方法得出解决方案，这需要调整大量参数。此外，ISP处理流程中会累积错误，影响成像质量。

过去十年，深度神经网络得到了迅速发展，并在图像分类、目标检测[27, 46]、图像和视频增强、自然语言处理等领域发挥了重要作用。研究行人还提出了一系列基于神经网络的图像信号处理方法。近年来，研究行人[15, 23]试图构建基于深度神经网络的摄像头成像系统，设计用于去噪、去偏色、色调映射和压缩的模型，显著提升了整个系统性能。然而，为每个功能（例如，去噪、去偏色）构建独立的神经网络，阻止了系统的联合优化，并引入了计算冗余，如图1（b）所示。

因此，一些方法出现了，试图构建一个单一的神经网络来完成ISP所需的功能。这是一个好主意，但由于所考虑的情况过于简单，设计的ISPNet不能现实地应用。

针对这些问题，作者提出了一种名为RealCamNet的框架，该框架将真实相机图像信号处理和图像压缩过程整合到端到端的深度神经网络框架中。这种统一的方法不仅减少了计算冗余，而且通过网络参数的联合优化，提高了图像质量和压缩效率，这是以前隔离