ISP(Image
Signal Processor),即图像处理,主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自己主动曝光控制等。依赖于ISP才干在不同的光学条件下都能较好的还原现场细节。ISP技术在非常大程度上决定了摄像机的成像质量。它分为独立与集成两种形式。
普通情况下,配备独立ISP的手机,在图像处理方面有更大的优势,且随着手机摄像头像素的提高,快速连拍,全高清甚至4K录制的增加,手机对ISP的处理性能要求越来越高。
不少主打拍摄功能的厂商都在手机其中增加了独立ISP,比如魅族MX3就採用了富士通四通道ISP,官方宣称其传输速度提升两倍,能完美实现每秒25张连拍,使其拥有卓越的图像处理能力,综合拍摄性能相对于MX2来讲有了较大的进步。主打自拍功能的MeituKiss手机。在全球范围内首次为前置摄像头配置了独立ISP芯片(图像信号处理器)。
这款来自富士通的高端芯片有着出众的噪点和色彩还原能力,被广泛应用于数码相机等专业领域。
下图是图像信号处理主要流程:
(1)黑电平校正(暗电流校正)
暗电流指传感器在没有入射光的情况下。存在一定的信号输出,这是因为半导体的热运动造成的。它的大小和传感器结构及温度有关,大概每升高9
℃,其暗电流会添加1 倍。
因为每一个像素存在不平衡性,因此像素间暗电流也会不一致,造成电流噪声。
一般情况下,在传感器中,实际像素要比有效像素多,像素区最靠边的行和列为不感光区,一般用作自己主动黑电平校正,其平均值作为校正值。
(2)颜色插补
原始像素仅仅包括一种颜色的信息(R 或G 或B),要重建色彩画面。就必须从相邻的像素中得到失去的信息。红色及蓝色插补一般遵循近期原则,进行平均处理。作为本像素的色彩值,由插值原理知,相邻像素间存在依赖关系,结果造成画面锐度减少。
(3)颜色校正
因为人类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在区别,还有透镜等的影响,插补后得到的RGB 值颜色会存在偏差,因此必须对颜色进行校正,一般通过颜色校正矩阵来实现。
详细的彩色矫正參数。能够通过试验或从传感器供应商中获得,当然要得到不失真的还原是不可能的,仅仅能重复调试达到最佳。一般通过标准色卡进行校正。
(4)Gamma 校正
Gamma 校正主要根据色度学原理进行调整。色彩在不同显示设备中频谱响应度不一样,造成颜色失真。
失真成幂指数关系。因此调节相对简单,分别对R、G、B
调节就可以。
(5)RGB2YUV 转换
Y =16