论文阅读：Architectural Analysis of a Baseline ISP Pipeline

论文分析ISP图像传感器的流程及其架构，进一步解释pipeline过程中涉及的一些问题。

简介

ISP图像处理算法实现的功能大致分为以下两类：

1、基于像素的处理

此类型ISP算法利用单个像素或其周围的像素来得到结果，可以被认为是一个空域滤波器，例如卷积类型的算法通常使用行缓存，在硬件实现中是实时处理的，即ISP流过一帧后所有像素值都已经处理完毕。

2、基于帧的处理

该类型的ISP算法需要一帧或多帧图像作为前提计算，即像素流过一帧后才能开始计算参数然后应用于图像中第一个像素，依次处理。如果仅需一帧，一般做法通常是使用上一帧计算得到的相关参数来实时处理当前帧。需要多帧处理的算法则更为复杂。

---

基于单帧的处理算法例如自动白平衡（AWB）、自动曝光（AE）、对比度增强，这些算法都需要统整个图像或区域的均值、最大最小值等，只有ISP Pipeline像素流过一帧后才能得到这些参数多帧算法如时间序列降噪，需要多帧的像素进行加权平均。

传统的isp除了自动曝光控制、自动白平衡和自动对焦（也称为3A或3自动）外，不处理基于帧的功能。例如，如果要通过考虑时间相关性来降低噪声，则必须存储至少两个图像帧来检查它是否可以被视为噪声。基本上，一个ISP已经被开发出来，可以嵌入到一个图像传感器中。由于这个要求，它不能与需要帧内存的函数一起工作。3A算法不需要帧内存，因为可以在扫描当前帧时可以提取3A所需要的全局特征。尽管它们被认为是基于框架的组件，但它们可以被认为是传统ISP体系结构中的基本组件，因为它们不需要框架内存本身。一般来说，ISP可以通过三种方式来实现。

第一种是基本ISP（Embedded ISP in an Image Sensor），它有一个由空间过滤器和点函数组成的级联Pipeline架构。允许的基于帧的函数仅限于3A算法，这不需要任何帧内存。

基本ISP pipeline功能

第二种（Discrete ISP Package）：在ISP商业化的早期，基本ISP本身只是作为一个离散的芯片。如今，它通常是生产在一个多芯片封装与一个堆叠的SDRAM作为帧内存。由于它嵌入了帧内存，它可以支持基于帧的功能，如图像稳定、时间降噪、宽动态范围等。然而，它在处理那些来自计算机视觉技术的算法时仍然存在困难，计算机视觉技术也利用了存储在帧存储器中的图像，但需要大量的浮点运算和复杂的控制流程。

第三种（Embedded ISP Inside an AP）：在应用程序处理器（AP）中有一些强大的编程单元，比如CPU/GPGPU。此外，应用程序处理器还提供了丰富的内存空间和带宽。因此基于像素处理的算法可以使用基本ISP实现，而基于帧的算法可以通过编程CPU/GPU来处理。这种形式的ISP实现消耗大量的算力，因为它使用耗电的内存设备和计算单元。然而，它可以提供最佳的图像质量。ISP的流水线线并不是标准化的，因此每个实现者都设计了许多非常相似但又不同的ISP Pipeline。

ISP 架构中的颜色重建

颜色感知

恢复“自然”颜色的过程是必要的，因为CMOS sensor对光的反应与人眼有很大的不同。颜色是人的眼睛的光感受器对光谱的反应。在有杆细胞和锥细胞的视网膜中，杆细胞感知亮度，锥细胞感知色度。在非常低的光线条件下，视觉体验完全由杆细胞决定。有三种不同类型的锥细胞，它们分别对不同波长的光具有不同的反应。颜色可以通过这些细胞被刺激的程度来定义和量化。

 颜色空间

  一个特定的RGB颜色空间是由红、绿、蓝加色的三个色度定义的，并且可以在三角形内产生任何色度，这些三角形的顶点由这些原色定义。原色是根据CIE 1931颜色空间中相应的色度坐标（x，y）来指定的。为了完全指定一个RGB颜色空间，需要额外定义一个白点和一个伽马校正曲线。下表总结了常用的RGB颜色空间的三原色(x，y)坐标和白点

要支持特定的RGB颜色空间，需要同时色调映射和颜色映射。前者是伽马修正，后者是颜色修正。伽马校正是非线性的，但颜色校正是线性的，通常通过3×3矩阵乘法来实现。在颜色校正中，颜色映射的结果不应受到被捕获场景的亮度水平的影响。

伽马校正的位置没有限制。伽马校正可以定位在颜色插值之前或颜色校正之后。即使经过颜色空间转换，也可以放置它。做伽马校正的目的是做一个非线性的色调映射（改善亮度）。只要能有效地实现这一目的，在ISP Pipeline中执行伽马校正的位置就不那么重要了。

自动白平衡（AWB）

AWB的研究原理是测量当前光源的色温。为此，场景中的消色差区域被用来估计色温，因为那里的颜色反映了光源的色温。灰色或白色区域是典型的消色色区域。消色区域是R、G、B和B分量的比值相同的区域。因此，AWB过程由等式建模。其中消色差区域的R、G和B成分的平均值分别记为R；；。

然而，在实际应用中，定位消色差区域几乎是不可能的；即使是人的眼睛有时也无法从自然场景中识别出它。然而，当环境光的色温发生变化时，也可以测量消色差区域的颜色变化。这种颜色的变化仅局限在色域的一个小区域内。通过绘制所有允许色温下消色差区域的CB-CR分量，可以在CB-CR平面上实验识别出该区域.

色调与饱和度控制

色度是一种颜色的客观规范，而不考虑其亮度，并进一步由色调和饱和度表示。

HSL（色相-饱和度-亮度）和HSV（色相-饱和度-值）是RGB颜色空间中两种最常见的点的圆柱坐标表示。

1、色调控制

色调是用于区分颜色的基准，通常说的红、橙、黄、绿、蓝、青、紫就是对颜色色调的描述

而饱和度是用于区分某种颜色的浑浊程度，例如如下表示红色的饱和度从左往右依次降低，逐渐暗淡变为中性色。

在Y-Cr-Cb空间中，色调转换使用以上公式。

2、饱和度控制

饱和度控制由以上公式

同时控制色调和饱和度时，公式如下：

ISP架构中的前预理和后处理

处理的目的是补偿传感器或相机的失真，从而可以通过传统的ISP管道获得稳健的图像。后处理的作用是从人类视觉系统的角度来看，提供更好的视觉质量。

坏点校正（DPC）

由于物理缺陷，图像传感器具有永久的亮像素或暗像素。它们被称为defective pixels，通常这些像素比相邻的像素更亮，去除它们可以采取以下方法：

1、基于滤波：可以通过中值滤波器将其去除。

2、基于OTP（One-Time Programmable，只允许编程一次，一旦被编程，数据永久有效）：摄像头在出厂时会标定坏点位置保存在OTP中，但是对于低成本的摄像头来说，每颗摄像头都标定是得不偿失的，且还需要设计摄像头OTP区域的电路，因此这种方式的摄像头一般会用在昂贵的摄影设备上.

黑电平校准（BLC）

传感器的响应并没有完美的线性度。图像传感器的每个像素都是电容式光电二极管，每个像素中的电荷根据每个像素的入射光子进行放电。放电电荷以电压采样，视为像素值。自然地，它是不可能检测到无光条件下的，因为光电二极管总是由反向偏置电流放电，即使在无光条件下。为了检测对应于无光的传感器响应，任何图像传感器都有被称为光学黑色区域的专用传感器区域。光学黑色区域具有与普通像素相同的结构，但它是故意通过用金属覆盖光二极管而不暴露在光下的。因此，可以估计在无光条件下的传感器响应。由于在光学黑区域有R、G和B像素，如果从传感器输出中适当地减去光学黑区域的平均值，就可以实现在无光条件下有传感器对“零光照”的响应。BLC应该是在ISP Pipeline的早期阶段运行的功能，因为只有这个功能才能使传感器的响应呈线性变化。

镜头阴影校正（LSC）

每个像素在BLC后的大小和亮度都呈线性关系。然而，每个像素的线性斜率并不是恒定的,而是根据空间位置变化的。图像在光轴中心最亮，当图像到达视场边缘时，图像会单调地变暗。阴影可能是由于照明不均匀或相机灵敏度不均匀造成的。一般来说，这种阴影效果主要是由于镜头系统，被称为镜头阴影失真。

LSC（镜头阴影校正）是补偿由于镜头阴影而导致的每个像素的线性增益的差异的过程，这样所有像素都可以有相同的光到电压增益，无论它们在传感器阵列中的位置如何。LSC最简单和鲁棒的解决方案是通过校正增益来补偿阴影，该增益预先对每个像素进行估计，然后存储在内存中。这种方法被称为FFC（Flat Field Compensation，平场补偿）。

边缘增强（EE，Edge Enhancement）

边缘增强是一种数字处理技术。通过提高明暗交界处的过渡带梯度提高图像的锐度，一些伪影也是通过边缘增强引起的。增强是不完全可逆的，图像中的一些细节可能会由于增强而丢失。对生成的图像进行重复的锐化操作会导致细节的丢失，并导致被称为振铃的伪影。大多数锐化滤波器是基于一阶和二阶导数。如下拉普拉斯二阶导数

对比度增强

对比度是指在颜色和光线上的差异，使一个物体与其他物体和背景不同。人类的视觉系统对对比度比绝对亮度更敏感。

Kc为对比度控制增益参数，Kr为参考亮度，Kb为为亮度控制偏移量。

总结

ISP本身是一个功能单元的流水线链路，其输入从前一个单元输入，处理后的输出被转移到下一个单元。在每个功能单元中，图像的每个像素都按顺序处理。当一个像素被处理时，只利用其相邻的像素，并且在像素周围定义一个小窗口，这样传入图像的一些线必须存储在存储器中。为了定义N×N窗口，至少N−1行被保存到内存中。换句话说，通常说N−1行记忆是必需的。这样一来，ISP就只利用了空间上本地化的信息。传统ISP的热门功能之一主要集中在真正的颜色重建上。

在环境色温不断变化下实现稳健的颜色质量正成为高质量ISP实现的关键要求。这是因为色度的剧烈变化对人的眼睛很敏感，而亮度的剧烈变化被认为是自然的。

当需要提供全局信息时，必须将整个图像保存在内存中。在这种情况下，内存需求非常巨大，以至于通过使用外部SDRAM来实现帧内存。当帧内存可用时，可以通过使用功能强大的CPU和/或GPGPU（通用图形处理单元）在软件中执行更复杂的功能。

近年来，许多研究开始扩展图像传感器的动态范围。WDR（宽动态范围）或HDR（高动态范围）意味着这样一种技术，通过分别使用两个或多个帧来扩展动态范围。