相机 - 02 图像处理isp

1. 基本概念

1. 图像处理流程图
   (1) 光线 --> lens --> sonsor --> 光电转换 --> A/D --> bayer pattern --> isp --> I/O

2. bayer pattern ( 拜耳阵列 ), 采集数字图像时常用的方法,
   (1) Bayer 格式是相机内部的原始图片, 一般后缀名为.raw.
   (2) 彩色滤波阵列(Color Filter Arrays, CFA) , sensor表面覆盖的滤波, 最常用的滤镜阵列是棋盘格式的

3. ISP 通过运行在其上的 firmware(固件)对 ISP 逻辑, lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。
   (1) ISP: ISP逻辑 + Firmware
      [1] 逻辑单元: 完成部分算法处理 + 统计当前图像的实时信息
      [2] Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。
   (2) Firmware 包含三部分: ISP 控制单元和基础算法库，AE/AWB/AF 算法库 和 sensor 库.
      [1] Firmware 设计的基本思想是单独提供3A 算法库，由ISP 控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。
   

1.1 isp 模块简介

1. 黑电平补偿 BLC(Black level Correction)
   (1) 目的：减少暗电流（暗电流与光照产生的电荷很难进行区分）对图像信号的影响
      [1] Black Level 是用来定义图像数据为 0 时对应的信号电平
   (2) 原因：物理器件由于杂质、 受热等原因，没有光照射到像素单元也会产生电荷，产生了暗电流，导致传感器出来的实际原始数据并不是我们需要的黑电平(数据不为0).
   (3) 方法：从已获得的图像信号中减去参考暗电流信号.
      [1] 一般传感器中, 比有效像素多几行作为不感光区，也做了RGB的 color filter, 用于自动黑电平校正，其平均值作为校正值，有效像素减去此矫正值就可以将黑电平矫正过来了。
   (4) 现象: 没做black level矫正的图片比做过的图片亮
   

2. 镜头矫正 LSC(Lens Shading Correction)
   (1) 目的: 用于消除图像周边和图片中心的不一致性，包含亮度和色度，需使用