ISP pipeline之lens shading correction

lens shading基本概念

Lens Shading，一般称为镜头阴影或者镜头暗影，作为通常在成像中肉眼可见的现象一般也有两种，即图像中心和四周的亮度变化和图像中出现的偏色现象,如图所示，通常称之为luma shading和color shading。

 

                        luma shading 　　　　　　　　　　　　   　color shading

对于Luma Shading的成因而言，可分为以下两种：
1.由摄像头本身的机械结构导致产生。由于摄像头各模块在制作和组装的过程中，均存在一定的工艺误差，从而影响物体光线在摄像头内的传播。
2.由镜头的光学特性引起。对于整个镜头模组来说，可将其视为一个凸透镜。由于凸透镜中心的聚光能力远大于其边缘，从而导致sensor中心的光线强度一般大于四周。对于一个没有畸变的摄像头，图像四周的光照度衰减遵循cos4θ的衰减规律，但是在考虑镜头构造和畸变的影响时，则没有这样的衰减规律。

而Color Shading的主要成因则是以下几点：
1.由于镜头对不同光谱光线的折射程度不同，导致入射光线中不同波长的光线落在Sensor的不同位置，从而引起Color Shading。
2.IR-Cut filter的影响。
3.由Sensor上微透镜的CRA与镜头的CRA不匹配导致。镜头的主光线角与传感器不匹配，会使传感器的像素出现在光检测区域周围，致使像素曝光不足，亮度不够。
4.Crosstalk的影响

lens shading correction常见算法简介

LSC算法在isp pip一般

同心圆半径拟合法（线性对称衰减）

　　　　　

 

同心圆半径拟合法（不对称衰减）

网格校正法

自适应校正算法

 以上几种算法来源于知乎@张兴的分享。但是在实际的算法中，各家厂商的算法各有不同，效果和覆盖的场景也有一定的差异。就手机领域来说，像Apple、Samsung的做法基本原理就是根据色温现在gain再做变换，高通isp则是根据图像修复的原理来做的，想要了解具体实现方法的可以评论交流，这里不做详细叙述。本人目前也在某手机厂做相关的算法开发工作，也希望与各同行学习交流。