像素越小画质越差？神经ISP说：0.35μm也能分辨率翻倍

一、认知缺口：长焦相机的"物理墙"，传统ISP翻不过去

智能手机的潜望式长焦镜头这几年卷得厉害——3倍、5倍、10倍光学变焦，参数越来越夸张。但如果你是做安防摄像头的工程师，你面对的现实要骨感得多：Sensor像素间距已经做到了0.7μm甚至更小，而镜头的物理口径受限于模组体积，根本无法提供匹配的解像力。

这就是所谓的长焦“物理墙”——当像素间距缩小到亚微米量级，光学系统的几何像差成为了不可逾越的瓶颈。点扩散函数（PSF）在Sensor平面上弥散，相邻像素采样到的其实是同一份模糊信息。像素做小了，分辨率却没上来。

传统ISP对此无能为力。原因很根本：传统ISP是逐级、局部处理的流水线——先降噪，再白平衡，再色彩校正——每个模块只看到当前像素的邻域，没有任何一个模块拥有对PSF的全局建模能力。它不知道模糊是怎么产生的，自然也无法从根上消除模糊。你可以锐化，但锐化只是增强边缘对比度，不能恢复被像差吞噬的高频信息。

在安防场景中，这个问题尤为尖锐。小像素Sensor（0.7μm、0.5μm甚至更小）配合紧凑镜头，远距离目标的车牌、人脸本来就只占十几个像素，像差进一步抹平了这些关键细节。传统ISP输出后，检测器看到的几乎是一片糊。

二、核心洞见：Neural ISP能反推像差，把小像素变成优势

ICASSP 2024收录的论文《Redefining Night Vision: The Power of MSR-Driven Neural ISP》以及相关前沿研究给出了一个突破性思路：Neural ISP不仅能增强低光图像，更能校正传统ISP无法处理的光学像差——关键在于，它学会了“反推”退化过程。

Jingchao Hou和Guanghui He在论文中提出了一个可训练的Neural ISP框架，包含三个核心组件：

1. 基于ISP的亮度协调层（Luminance Harmonization Layer）

该层首先对Raw域数据进行亮度级别的初步优化。传统ISP在低光条件下，曝光不足区域的亮度和色彩信息严重压缩，线性拉伸又会导致噪声爆炸。亮度协调层通过可学习的映射函数，在Raw数据阶段就建立了更合理的亮度分布，为后续处理奠定基础。

2. 基于深度学习的多尺度Retinex（MSR）层

这是论文的核心创新。Retinex理论认为图像由光照分量（Illumination）和反射分量（Reflectance）构成：S = R · I。传统MSR算法用高斯滤波估计光照，但"光晕"伪影和色彩失真问题始终存在。论文将MSR做成可学习的深度网络模块——网络不再依赖固定的高斯核，而是自适应地分解图像的亮度成分和反射成分，在不同尺度上分别增强。这种方式既保留了MSR理论"分离光照与反射"的物理先验，又通过数据驱动克服了传统方法的参数敏感性。

3. 区域自适应增强与色彩降噪层

第三层负责精细化的局部增强和色彩通道的联合降噪。夜间场景中，暗区和亮区需要完全不同的增强策略——全图统一增益会导致亮区过曝。该层通过空间自适应机制，对不同区域施加不同强度的处理，同时利用色彩通道间的相关性进行联合降噪，避免单通道降噪造成的色彩偏移。

但这只是夜视增强这一面的故事。Neural ISP的真正威力，在于它对光学像差的校正能力——这一点在后续关于小像素时代的研究中得到了更充分的揭示。

Neural ISP校正像差的原理

传统ISP之所以无法校正像差，是因为像差是空间变化的——画面中心PSF近似圆形，边缘则呈现彗差、像散等复杂形态。局部处理模块无法区分"这里是像差导致的模糊"和"这里是场景本身就不锐利"。

Neural ISP的解法是端到端训练：在已知PSF的仿真数据上，网络学会了从模糊图像中推断出清晰的场景反射率。由于训练数据中PSF是已知的，网络实际上学到了一个逆映射——从"像差模糊后"的图像，反推出"像差模糊前"的图像。这种全局的、非线性的逆映射，是任何逐级局部处理模块都做不到的。

三、验证洞见：0.35μm像素下，分辨率提升2.5-3倍

数据是最有说服力的。

在关于小像素Neural ISP的前沿研究中，研究者对一个代表性长焦模组进行了受控仿真实验，评估了五种像素间距配置（0.35μm到0.75μm），光圈随像素等比缩放以保持每像素SNR和衍射斑大小不变，从而隔离几何像差和空间采样的影响。

核心实验结果：

指标	传统ISP（0.35μm）	Neural ISP（0.35μm）	提升幅度
MTF50（垂直）	~250 cycles/mm	745 cycles/mm	2.5-3倍
LPIPS	0.244	0.151	显著改善

关键发现是：当像素间距从0.75μm缩小到0.35μm时，传统ISP的分辨率改善微乎其微——因为PSF模糊是瓶颈，更小的像素只是更密集地采样了同一份模糊信息。但Neural ISP的分辨率随像素缩小而大幅提升，因为它能校正像差，让更密的采样真正转化为更高的分辨力。

低SNR场景的补充实验：

在15dB低信噪比条件下（0.35μm像素），多帧Neural ISP恢复到了接近亮光单帧基线的性能；而同样条件下的多帧传统ISP几乎没有任何改善。这证明：在小像素场景下，传统ISP的性能瓶颈是未被校正的PSF模糊，而非噪声。 只要PSF模糊未被消除，多帧融合也只是在平均多份模糊，无法恢复高频信息。

回到MSR论文本身，实验在机器视觉基准和客观视觉质量指标上均验证了方法的有效性，在低光增强场景下不仅显著优于现有方法，还展现出在不同光照条件下的鲁棒适应性。

四、推开一扇窗：安防摄像头也需要像差校正

论文里的长焦手机和仿真实验离安防工程有多远？比你想的近。

安防摄像头使用的CMOS Sensor像素间距普遍在1.0μm以下，旗舰款已经到了0.5μm甚至更小。紧凑型镜头模组的几何像差问题在安防领域甚至比手机更严重——因为安防镜头的焦距更长（监控远距离目标），而光学成本控制更严（不可能每个摄像头都配高端镜头）。结果就是：Sensor的采样能力在提升，但光学系统跟不上，像差模糊吃掉了像素缩小本该带来的分辨率增益。

ShiMeta Pico-G1的"圆鸮AI ISP引擎"正在这条路上走。

Pico-G1基于国科微GK7206V1芯片，搭载1.0TOPS NPU，其AI_NR模块在Bayer Raw域执行深度学习降噪——注意，这里的关键不是降噪本身，而是在Raw域做处理。Raw域保留了最完整的传感器信息，包括被像差模糊但尚未被去马赛克和色彩校正进一步破坏的高频分量。在Raw域做AI处理，等价于在退化链条的最早环节介入，校正的效果远优于在sRGB域后处理。

G1的AI_NR仅需0.5T算力跑4M@15fps，在1.0TOPS NPU上仅占一半算力，剩余算力还可用于检测、分类等下游任务。内置2Gb DDR3L、完整ISP Pipeline和H.265硬编码，11种sample_vio工作模式覆盖了从低照度到逆光的主流安防场景。

论文展示了Neural ISP在校正像差上的潜力：0.35μm像素下MTF50提升2.5-3倍。G1的AI ISP则是这个思路在安防芯片上的工程实现——算力有限，不可能跑论文里的完整Neural ISP，但聚焦于最关键的Raw域降噪这一步，已经能在实际场景中显著提升画质。先降噪，再像差校正，这条路在NPU算力增长的过程中会越走越宽。

---

本文是对原论文的解读与发散，原作者（Jingchao Hou, Guanghui He）和所属机构未参与本文撰写，亦无任何利益关联。

原论文：Redefining Night Vision: The Power of MSR-Driven Neural ISP，Jingchao Hou, Guanghui He，ICASSP 2024.

论文地址：https://ieeexplore.ieee.org/document/10446671/