海思平台(hi3559/hi3519/hi3516/hi3518)下的ISP功能介绍及问题调试总结（包括黑光成像/逆光成像/降噪/宽动态wdr/偏色等问题）

海思平台下的ISP功能介绍及问题调试

平台说明

该调试是在海思平台下进行的（我用的是3559，在3519/3516测试也是没有问题的，只是部分参数稍微有差异。其海思他系列处理器的ISP调试大体上也是一样的，其他如mtk平台不一定适用，可做参考）。使用的sensor是索尼IMX327，SOIH62，SOIF23，OV9712，IMX283，GC2053，CISTA2395等，调试黑光成像/逆光成像/降噪/宽动态wdr/偏色等问题。
文章部分参考网上其他大神文章，调试部分是我个人调试经历，本人接触图像处理不久，如有错误请指正。

ISP模块介绍

ISP是Image Signal Processor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，对图像质量起着非常重要的作用。

ISP(ISP PipeLine)的功能比较杂，基本上跟图像效果有关的它都有份。它内部包含多个图像算法处理模块，其中比较有代表性的是：扣暗电流（去掉底电流噪声），线性化（解决数据非线性问题），shading（解决镜头带来的亮度衰减与颜色变化），去坏点（去掉sensor中坏点数据），去噪（去除噪声），demosaic（raw数据转为RGB数据），3A（自动白平衡，自动对焦，自动曝光），gamma（亮度映射曲线，优化局部与整体对比度），旋转（角度变化），锐化（调整锐度），缩放（放大缩小），色彩空间转换（转换到不同色彩空间进处理），颜色增强（可选，调整颜色），肤色增强（可选，优化肤色表现）等。

图像成像过程：景物通过 Lens 生成的光学图像投射到 sensor 表面上， 经过光电转换为模拟电信号， 消噪声后经过 A/D 转换后变为数字图像信号， 再送到数字信号处理芯片(DSP) 中加工处理。所以，从 sensor 端过来的图像是 Bayer 图像，经过黑电平补偿 (black level compensation)、镜头矫正 (lens shading correction)、坏像素矫正(bad pixel correction)、颜色插值 (demosaic)、Bayer 噪声去除、 白平衡(awb) 矫正，色彩矫正(color correction) 、 gamma 矫正、 色彩空间转换(RGB 转换为 YUV)、 在 YUV 色彩空间上彩噪去除与边缘加强、 色彩与对比度加强，中间还要进行自动曝光控制等， 然后输出 YUV(或者 RGB) 格式的数据， 再通过 I/O 接口传输到 CPU 中处理。
借用网上大神的图片介绍一下ISP处理流程，如下图：

关于raw(bayer)数据转换rgb数据：RGB图, 即为三色图, 一个像素点就由RGB三种颜色构成的混合色, 而bayer图一个像素就只有一个颜色, 或R或G或B. 因为bayer一个像素点只有一种颜色, 需要借助这个像素点周围的颜色对它进行插值(填充)另外的两种颜色, 它本身的颜色就不用插了.

关于色彩空间转换：在传输和存储上可以节省带宽和存储空间，例如一个RGB图像可以在捕捉之后转换为YCbCr格式用来减少存储和传输负担。在显示图象之前，再转回为RGB；在不同场合上可以根据需要做出转换，适应各种图像格式的需要，例如在做图像处理时算法可能需要YUV格式图像，而图像在屏幕显示需要RGB格式图像，有了色彩空间转换，就可以用一种格式的图像满足不同的图像格式要求。YUV 是一种基本色彩空间， 人眼对亮度改变的敏感性远比对色彩变化大很多， 因此， 对于人眼而言， 亮度分量Y 要比色度分量U、V 重要得多。 所以， 可以适当地抛弃部分U、V分量， 达到压缩数据的目的。

关于色温：所谓色温，简而言之，就是定量地以开尔文温度（K）来表示色彩。英国著名物理学家开尔文认为，假定某一黑体物质，能够将落在其上的所有热量吸收，而没有损失，同时又能够将热量生成的能量全部以“光”的形式释放出来的话，它便会因受到热力的高低而变成不同的颜色。例如，当黑体受到的热力相当于500—550℃时，