黑光全彩的核心难题：噪声淹没信号时，ISP还能信什么？

一、制造认知缺口：当"看不见"不再是调参问题，而是物理极限

安防行业有一句老话："白天拼分辨率，晚上拼补光。"这句话背后是一个无法回避的物理事实——在照度低于0.01 lux的极暗环境下，CMOS传感器接收到的有效光子数量已经逼近读出噪声的量级，信噪比（SNR）趋近于零。这不是算法不够好，而是信号本身已经不存在了。

传统ISP的设计范式建立在一个隐含假设之上：输入数据中存在可辨识的信号，ISP的任务是对信号进行增强、校正、美化。这一假设在照度充足时完全成立，但在黑光场景下彻底失效。当Bayer Raw数据中的每一个像素值都几乎被泊松噪声和读出噪声主导时，分阶段串联的ISP模块——黑电平校正→去马赛克→降噪→白平衡→色彩校正→色调映射——每一步都在对已经不存在的信息做决策，结果必然是误差累积与伪影放大。

这就是黑光全彩面临的根本困境：要输出彩色图像，就必须完成完整的ISP流程；但信号的匮乏让每一步变换都变成赌博。 行业里通行的补救手段是加装红外补光灯——用850nm或940nm红外光照射场景，传感器接收反射信号生成单色图像。这是权宜之计而非解决方案：红外补光带来额外的功耗（一颗IR LED阵列的功耗大约1-3W），并且破坏了"全彩"的承诺——红外图像没有色彩信息，无法用于车牌颜色识别、服装颜色描述等关键安防任务。

真正的问题不在于"怎样把暗图画亮"，而在于：当一个传感器几乎什么都没看到时，ISP从哪里获得重建图像所需的信息？

二、核心洞见：扩散模型的先验知识，是黑光成像的"第三种光源"

LDM-ISP论文的作者来自香港科技大学，他们从根本上重新定义了极暗ISP的问题性质：它不是一个信号恢复（restoration）问题，而是一个条件生成（conditional generation）问题。

这个区分的意义是根本性的。信号恢复假设输入中包含足够的信息，算法只需"清洗"和"增强"。条件生成承认输入信息已严重不足，算法必须从外部引入先验知识来完成重建。这种先验知识的来源，可以理解为"第三种光源"——补光灯提供第一种（主动红外），环境光提供第二种（被动可见光），而模型在大规模数据中学会的"世界应该长什么样"的统计规律，提供了第三种不消耗任何物理能量的认知光源。

LDM-ISP选择了一个极其大胆的外部知识来源：Stable Diffusion——一个在LAION-5B数据集（58.5亿图文对，规模是SID-Sony数据集的约300万倍）上预训练的潜在扩散模型。Stable Diffusion在训练过程中吸收了海量自然图像的分布信息：天空是蓝色的、草是绿色的、人脸有对称的五官结构、车牌有特定的笔画排列——这些"常识"恰好就是极暗ISP最缺乏的东西。

但问题随之而来：Stable Diffusion是一个860M+参数的开环生成模型，它可以在没有输入约束的情况下生成逼真的图像，但无法保证生成内容与原始场景一致。直接用它来做ISP，输出的是"看起来真实但完全无关"的图像——这在安防场景中不仅无用，而且是危险的（例如"脑补"出一个不存在的人脸）。

LDM-ISP的解决方案是一种工程上的精准手术：冻结整个预训练扩散模型，只插入和训练一组轻量级的"驯化模块"（Taming Modules），将Bayer Raw信号中的结构信息注入扩散过程，引导生成方向。

具体实现依赖三个支柱设计：

支柱一：小波变换（DWT）替代下采样。 LDM-ISP对输入的Bayer Raw图像执行2D离散小波变换，将其分解为低频子带（LL）和高频子带（LH、HL、HH）。LL子带保留了主要的结构内容，且分辨率与UNet的潜在空间对齐。相比直接对含噪Raw图像做resize（噪声会随下采样扩散并破坏结构），DWT将噪声隔离在高频子带中，使得LL子带在进入UNet时保持了更纯净的结构信息。消融实验的数据是决定性的：DWT方案在ELD-Sony数据集上达到了SSIM 0.8906 / LPIPS 0.2035，而Resize方案仅为SSIM 0.8233 / LPIPS 0.2834。更关键的是，DWT仅消耗0.02秒且无额外参数，而使用Stable Diffusion的Encoder做同样的事需要2.09秒和34.16M参数——对于需要实时推理的ISP应用来说，这是不可接受的差距。

支柱二：SFT层做特征调制。 驯化模块的核心是Spatial Feature Transformation（SFT）层，它接收DWT子带和扩散时间步，输出一对仿射变换参数α和β，对UNet/Ddecoder的中间特征进行逐通道调制：输出 = (1+α) ⊙ 输入 + β。这种设计的精巧之处在于它让RAW信号以"指导者"而非"强加者"的身份参与扩散过程——网络保留了生成高质量图像的能力，但生成方向被RAW信号"驯服"了。

支柱三：任务解耦——UNet管结构，Decoder管细节。 作者做了细致的机制分析，发现UNet的去噪过程主要生成低频结构（物体轮廓、整体布局），而Decoder的重构过程负责添加高频细节（纹理、边缘）。基于这一观察，UNet的驯化模块只接收LL子带（低频内容引导），Decoder的驯化模块同时接收LL子带和高频子带（亮度缩放+细节注入）。这种解耦避免了"一个模块同时被要求生成和保持"的内在冲突。

三、验证洞见：极暗场景下的定量优势

LDM-ISP在三个真实世界低光数据集上进行了全面评估，每个数据集都对应不同的传感器和光照条件：

• SID-Sony数据集（×300放大倍率，即曝光时间仅为参考的1/300）：LDM-ISP在LPIPS指标上达到0.2749（此前最佳SID为0.3906，改善幅度0.1127），在无参考感知质量指标NIMA上达到3.5583（此前最佳为3.1831，改善幅度0.3752）。×300放大倍率意味着入射光子数量已经低到单个像素级别——传统方法在这个条件下几乎无法重建可辨识的彩色内容。

• ELD-Sony数据集（×200放大倍率）：LDM-ISP在SSIM上达到0.8906，LPIPS达到0.2035，均为所有对比方法中最优。值得注意的是它同时超越了RAW-to-sRGB方法和RAW-to-RAW方法——这说明扩散模型引入的视觉先验确实填补了"从信号到图像"的信息缺口。

• LRD数据集（-3 EV曝光）：LPIPS 0.1858，NIMA 3.6180，均为最优。

消融实验进一步确认了每个设计的必要性。冻结预训练模型仅训练驯化模块的策略是关键——如果去除驯化模块让模型自由生成，输出内容与输入场景无关（验证了"驯化"的必要性）；如果对UNet和Decoder使用相同的调制方式而不做解耦，高频细节出现严重丢失（验证了任务解耦的有效性）；如果只注入低频信息到Decoder而不注入高频子带，输出图像明显模糊（验证了高频维护的价值）。

四、推开一扇窗：从论文方法论到Pico-G1的芯片级落地

LDM-ISP最值得工程界借鉴的，不是扩散模型本身——在嵌入式芯片上运行一个200步DDIM采样的860M参数模型显然不现实——而是它背后的方法论：用一个在超大规模数据上获得了通用先验的Teacher模型，通过轻量驯化机制将知识传递给端侧Student模型。Teacher训练一次，端侧几乎零成本受益。

这个方法论与ShiMeta Pico-G1的AI_NR训练策略——"大模型蒸馏+小模型微调"——在逻辑上是同一范式。

Pico-G1基于国科微GK7206芯片，核心约束是1.0T NPU算力。工程师将0.5T分配给AI_NR降噪（跑4M@15fps），剩余0.5T留给AI检测任务。在这0.5T的算力预算内要达到极暗降噪效果，不可能从头训练或直接部署大模型。"大模型蒸馏+小模型微调"策略的本质正是：在云端用大规模数据训练一个通用降噪大模型（Teacher），充分吸收各类噪声模式的统计规律，然后将这些规律蒸馏到一个可以在0.5T NPU上实时运行的轻量模型中（Student），再用目标场景的少量数据微调适配。

这与LDM-ISP的"冻结预训练扩散模型、只训练驯化模块"共享同一个工程洞察：通用先验在云端完成一次代价高昂的学习，端侧只承担微不足道的适配代价。 区别在于，LDM-ISP的Teacher是Stable Diffusion（提供"世界长什么样"的视觉先验），Pico-G1的Teacher是自研通用降噪大模型（提供"噪声长什么样"的统计先验）。但结构是相同的：Teacher存储先验，Student执行推理。

Pico-G1的AI_NR在Bayer Raw域工作，这与LDM-ISP选择在RAW域注入信息的设计也高度一致——在ISP管线的最前端处理，在信号被后续模块污染之前抓住最后的有意义信息。结合双3DNR双通路架构，AI_NR输出的降噪信号进入硬件ISP流水线完成后续处理，最终实现无需红外补光灯的暗光全彩输出。在AOV低功耗模式下，整机功耗可低至42mW@2Mp/1fps——这对于电池供电的黑光全彩监控场景意义重大。

LDM-ISP在学术上证明了一件事：当信号不足以支撑重建时，外部先验是唯一出路。 Pico-G1在工程上回答了下一个问题：这种先验如何在芯片上以0.5T的代价落地。 论文和芯片之间隔着一道鸿沟，而"大模型蒸馏+小模型微调"的方法论，正是跨越这道鸿沟的桥梁。

-----

本文是对原论文的解读与发散，原作者和所属机构未参与本文撰写，亦无任何利益关联。

原论文：LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models，Qiang Wen, Zhefan Rao, Yazhou Xing, Qifeng Chen，ICRA 2025. 论文地址：https://arxiv.org/abs/2312.01027