AIM 2020 Challenge on Learned Image Signal Processing Pipeline（个人笔记，勿喷）

原创

已于 2022-08-24 17:35:38 修改 · 1.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2022-08-24 17:24:38 首次发布

本文总结了AIM2020学习图像信号处理（ISP）管道挑战，该挑战聚焦于RAW到RGB映射任务，目标是将华为P20手机拍摄的RAW图像转换为佳能5D单反相机的高质量RGB图像。参赛团队利用深度学习技术，如多尺度编码器-解码器架构、通道注意和残差连接，提出了一系列解决方案，显著提升了图像质量。挑战赛包含了保真度和感知两个赛道，综合评价了像素级保真度和人类视觉感知。最终，MW-ISPNet和AiriaCG分别在感知和保真度赛道上取得了最佳成果。

摘要
本文回顾了第二届AIM学习型ISP挑战赛，并对提出的解决方案和结果进行了描述。参赛团队正在解决一个真实世界的RAW-RGB映射问题，目标是将华为P20设备拍摄的原始低质量RAW图像映射到用佳能5D单反相机拍摄的相同照片。所考虑的任务包含了许多复杂的计算机视觉子任务，如图像去马赛克、去噪、白平衡、颜色和对比度校正、去噪等。这项挑战中使用的目标指标将保真度分数（PSNR和SSIM）与用户研究中测量的解决方案的感知结果结合起来。所提出的解决方案大大改善了基线结果，定义了实用图像信号处理管道建模的最先进水平。
1 引言
最近，深度学习、端到端学习范式、对抗性学习的出现以及内存和计算硬件的不断改进导致了包括计算机视觉、图形和计算摄影在内的许多研究领域的巨大进步。特别是，图像恢复、增强和处理主题引起了研究人员越来越多的兴趣，这导致定义和提出新解决方案以改善不同图像质量方面的工作激增 [39,4,2,5,11,3, 32,12]，包括它的分辨率、模糊、噪声、色彩再现、感知质量等。现实世界中最重要的问题之一是恢复和增强便携式移动设备 [15,18,20,21,7] 中可用的紧凑型相机传感器记录的低质量图像，这些设备是当今媒体记录的主要来源。 2017 年，第一个作品被提出来处理全面的图像增强 [15,16]。紧随其后的是大量后续论文，这些论文显着改善了基线结果 [34,37,40,14,27]。智能手机感知图像增强的 PIRM 挑战 [21]、NTIRE 2019 图像增强挑战 [17] 与不同的 DPED 数据集 [15] 以及其他几个 NTIRE 和 AIM 挑战有助于产生大量高效解决方案和该领域的进一步发展。

AIM 2020 对学习图像信号处理管道的挑战是在基于示例的单图像增强基准测试方面向前迈出的一步。与第一个 RAW 到 RGB 映射挑战 [19] 相同，它的目标是处理和增强使用小型移动相机传感器获得的 RAW 照片。 AIM 2020 挑战赛使用大规模苏黎世 RAW 到 RGB (ZRR) 数据集 [24]，包括使用华为 P20 移动相机和佳能 5D 数码单反相机拍摄的 RAW 照片，并考虑了所提出的定量和定性视觉结果解决方案。在接下来的部分中，我们将描述挑战和相应的数据集，展示和讨论结果并描述所提出的方法。

该挑战是 AIM 2020 相关挑战之一：场景重新照明和照明估计 [9]、图像极端修复 [33]、学习的图像信号处理管道 [22]、渲染逼真的散景 [23]、真实图像超分辨率 [ 41]、高效超分辨率[42]、视频时间超分辨率[36]和视频极端超分辨率[10]。
2 AIM 2020 学习图像信号处理管道挑战
RAW 到 RGB 映射任务的最大挑战之一是获得可用于训练深度模型的高质量真实数据。为了解决这个问题，我们使用了一个包含 2 万张照片的大规模 ZRR 数据集 [24] 数据集，这些照片是使用华为 P20 智能手机拍摄 RAW 照片和配备佳能 EF 24mm f/ 的专业高端佳能 5D Mark IV 相机收集的。 1.4L快速镜头。 RAW 数据是从 P20 的 12.3 MP Sony Exmor IMX380 Bayer 摄像头传感器读取的——虽然这款手机有第二个 20 MP 单色摄像头，但它仅用于华为内部 ISP 系统，并且无法使用任何公共摄像头 API 检索相应的图像。这些照片是在自动模式下拍摄的，并且在整个收集过程中都使用了默认设置。这些数据是在数周内在不同地点、不同光照和天气条件下收集的。图 1 显示了一组捕获图像的示例。
由于捕获的RAW-RGB图像对不是完全对齐的，我们首先使用与[15]相同的程序进行匹配。首先使用SIFT关键点和RANSAC算法对图像进行全局对齐。然后，使用非重叠的滑动窗口从初步匹配的图像中提取大小为448×448的小斑块。两个窗口沿着每对RAW-RGB图像平行移动，窗口在单反相机图像上的位置也通过小的移动和旋转进行调整，以最大限度地提高观察到的斑块之间的交叉相关性。交叉相关度小于0.9的斑块不包括在数据集中，以避免大的位移。这个过程产生了48043个RAW-RGB图像对（尺寸分别为448×448×1和448×448×3），后来被用于训练/验证（46.8K）和测试（1.2K）模型。另外，RAW图像补丁被重塑为224×224×4的大小，其中四个通道对应于RGBG Bayer filer的四种颜色。应该提到的是，所有对齐操作只在RGB单反相机图像上进行，因此来自华为P20的RAW照片仍然没有修改，包含与从相机传感器获得的相同值。
2.1 Tracks and Competitions
挑战赛包括以下几个阶段：
i开发：参与者获得数据；
ii验证：参与者有机会在服务器上验证他们的解决方案，并在验证排行榜上比较结果；
iii测试：参与者提交他们的最终结果、模型和事实表。
所有提交的解决方案都根据三种措施进行评估。