Deep-FlexISP: A Three-Stage Framework for Night Photography Rendering（Deep-FlexISP：一种用于夜景渲染的三阶段框架）

Joney Feng

已于 2025-04-09 11:18:37 修改

阅读量693

点赞数 11

CC 4.0 BY-SA版权

文章标签：人工智能增强现实夜间环境增强

于 2025-04-09 10:52:06 首次发布

本文链接：https://blog.youkuaiyun.com/ADICDFHL/article/details/147086829

原文链接：Deep-FlexISP: A Three-Stage Framework for Night Photography Renderinghttps://openaccess.thecvf.com/content/CVPR2022W/NTIRE/papers/Liu_Deep-FlexISP_A_Three-Stage_Framework_for_Night_Photography_Rendering_CVPRW_2022_paper.pdf

论文代码链接：q935970314/Deep-FlexISP: This is the official implementation of "Deep-FlexISP: A Three-Stage Framework for Night Photography Rendering"https://github.com/q935970314/Deep-FlexISP

0.摘要

夜景渲染因图像的高噪声水平、色彩饱和度不足和动态范围低而具有挑战性。在本研究中，我们提出了一种名为 Deep-FlexISP 的三阶段级联框架，其将图像信号处理（ISP）分解为三个弱相关子任务：原始图像去噪、白平衡和拜耳（Bayer）到sRGB的色彩映射。这一设计的考量如下：

任务分解可增强框架的学习能力，使模型更易收敛；
弱相关子任务间的相互影响较小，因此框架具有高度灵活性；
噪声、色彩和亮度是夜景图像的核心要素，基于此框架，可根据个人偏好灵活调整不同风格，同时保留关键学习能力与自由度。

相比其他深度ISP方法，Deep-FlexISP 在性能上达到领先水平，并在 NTIRE 2022 夜景渲染挑战赛中同时斩获“大众选择奖”与“摄影师选择奖”第一名。

1. 引言

夜间摄影由于多重挑战而成为复杂任务：首先，低光照条件会导致原始图像产生高强度噪声；其次，夜间场景中常存在多种混合光源，使得白平衡估计难以精确；第三，多数夜景需要特定的色调曲线和后期处理策略来恢复高动态范围环境。

图像信号处理（ISP）旨在将原始传感器数据渲染为标准色彩空间（如sRGB）编码的最终图像。传统ISP是由手工设计模块组成的复杂系统，包含去噪、白平衡（WB）、去马赛克、色调映射等任务。每个模块需手动调整大量参数，且传统ISP难以完全处理复杂夜景渲染需求。随着深度学习的发展[16]，CNN在去噪、白平衡等低层视觉任务中展现出竞争力。一种直观方法是使用独立网络分别学习ISP各模块，再串联为整体框架，但这种方式仍存在与传统ISP类似的误差累积问题[24]，且需为每个网络生成标注数据，成本高昂。

近年来提出的端到端单阶段Deep-ISP方法[21,31]直接从原始图像生成sRGB图像，其效率优于传统ISP。然而该方案存在两个关键问题：

1) ISP中弱相关性模块（如去噪与白平衡）的混合会限制网络学习能力；

2) 模型训练完成后参数固定，仅能通过重新训练调整输出风格。对于夜景渲染任务，ISP需同时完成主观增强（色彩/亮度/对比度）与客观重建（去噪/细节恢复）的混合目标，单阶段设计难以有效处理此类复杂任务。

本文提出新型三阶段级联框架Deep-FlexISP，将复杂ISP系统分解为三个弱相关子任务：原始图像去噪、白平衡、拜耳到sRGB映射。该设计的优势在于：

1) 任务分解提升框架学习能力，更易收敛至全局最优；

2) 弱相关子任务降低网络耦合度，增强全局自由度，允许独立调整各网络而不影响下游任务；

3) 针对夜景主观感知的核心要素（噪声/色彩/亮度），可通过灵活调整网络权重、结构等参数实现多样化风格输出。