Camera tuning(ISP)常见面试题

1、描述高通6系pipeline（仅ISP）。
TFE     
demuxblc（黑电平校正） -> lsc（镜头阴影矫正） -> WB（白平衡） -> BDS（在拜耳域中执行图像缩放）

OPE（修正镜头在不同焦距下的成像差异）
abf（RAW域自适应Bayer滤波降噪）-> bls(黑电平校正) -> demosaic (解马赛克 RAW -> RGB)-> cc（调节颜色饱和度） -> gtm（提升全局对比度） -> ltm（提升对比度 让亮的地方更亮暗的地方更暗） -> gamma（亮度色彩调节） -> cv(颜色？) -> cs（RGB -> YUV） -> wnr（YUV 数据的预处理阶段） ->asf（自适应空域滤波）

bds是bayer down scaler 
可以调整内核改变不同的锐度并可以减少一定的伪彩，仅作用于预览和video
wnr是小波降噪主要针对频率进行降噪，根据图片不同频率的噪点进行一定的降噪，调试时一般中低频降噪稍大，高频较小保留细节
noise profile
denoise edge softness
denoise scale7
denoise weight

2、描述高通7系pipeline（仅ISP）。
IFE（图像处理前端）：
仅作用于video和preview。
与ISP相关的模块流程顺序是 基座校正（Pedestal Correction）+线性化（Linearization）+坏点校正（BPC/BCC/PDPC）+自适应Bayer滤波降噪（ABF）+黑电平校正（Black Level Subtraction）+镜头阴影校正（LSC）、再往后是关于亮度和颜色的一些模块、最终将所处理过的YUV图片交给IPE去处理。

BPS（Bayer处理阶段）：仅作用于拍照。与IFE处理流程类似、与其不同的是在ABF模块之前加了一个GIC模块、用于处理网格噪声；
在整个pipeline末尾加了一个HNR模块、可以基于频率、亮度、径向进行降噪。仅处理亮噪。最终将所处理过的YUV图片交给IPE去处理。

IPE（图像处理引擎）：video、preview、拍照都会用到。主要分为NPS和PPS两部分。主要用于YUV域去噪和细节增强。
NPS采用ANR+TF的去噪模式；一般拍照只用ANR处理不同亮度、频率下的亮噪和彩噪；video、preview以及多帧降噪需要用到ANR和TF。
PPS除了亮度和颜色的处理模块之外、还有一个细节增强的模块（ASF）、用于提高图像清晰度。

3、关于OB的相关疑问
a. OB扣多了、图片为什么会偏绿？
    OB扣多了，R gain和B gain会变大。当图片经过AWB模块处理时、为了校准白平衡、需要相应的减少R gain和B gain、就可能会出现偏绿现象。

b.OB扣少了、图片为什么会偏紫？
    OB扣少了，R gain和B gain会变小。当图片经过AWB模块处理时、为了校准白平衡、需要相应的提高R gain和B gain、就可能会出现偏紫现象。

4、摄像头模组的组成部分
镜头、马达、红外滤光片、图像传感器（sensor）、电路板（PCB）

5、网格噪点产生的原因和处理方法
原因：一些sensor可能在Gb通道和Gr通道之间存在严重的不平衡。由这种不平衡引起的伪影，像网格一样的噪声，可能不能被Bayer域的ABF降噪块完全纠正。
方法：GIC 消除了由于Gr和Gb通道之间的不同灵敏度而引起的带效应。

6、坏点产生的原因和处理方法
sensor工艺上的缺陷、光信号进行转化为电信号的过程中出现错误，从而会造成图像上像素信息错误，导致图像中的像素值不准确，这些有缺陷的像素即为图像坏点。

为什么图像处理的过程中需要做坏点校正，而且坏点校正(BPC)通常在ISP的pipeline靠前位置？主要有如下原因：
(1) 如果图像中存在坏点的话，ISP后续进行插值和滤波处理时，会影响周围的像素点值，因此需要在插值和滤波之前对坏点进行校正 ;
(2) 图像存在坏点比较多或动态坏点很多的情况下，会造成图像的边缘出现伪色彩的情况，这种现象不但影响图像的清晰度，而且会影响边缘的色彩;
(3) 坏点也会造成图像部分pixel闪烁的现象;

7、Tune ABF
为了在不模糊尖锐边缘的情况下降低噪声，采用了一种基于相邻像素值的自适应Bayer滤波器(ABF)。

ABF为什么可以降噪的同时不钝化边缘？
因为ABF包含一个后接软阈值的低通滤波器。低通滤波器的作用让低频噪声通过被软阈值参数设置强度处理掉，保护高频细节不被处理。

8、Tune HNR
HNR区块位于拜耳处理段(BPS)的末端，仅对快照可用。它包括基于dct的频域降噪、梯度平滑和空间域混合。与传统的空域降噪不同，基于dct的频域降噪可以区分弱纹理和噪声。通过这种方法，HNR可以在保留边缘和纹理的同时降低噪声.

9、Tune ANR
高级降噪(ANR) 是一种针对 拍照和视频模式 的多pass通道 空间噪声滤波。

10、Tune TF
时间滤波(TF)去除不必要的时域噪声。

TF原理：处理每个频率帧、将当前帧与上一帧融合。检测为静态时，当前帧跟未经过ANR处理的那一帧融合；检测为局部运动时，当前帧跟经过ANR处理的那一帧融合，得到最终融合处理的图片。

处理方法：
TF 强度 (FS)
a. 如果当前图像与上一图像的内容不同，FS = 0，否则物体将出现两次（即重影）；
b. 如果当前图像与上一图像的内容相同，则 FS = 63（最大值），这是因为高滤波强度可确保最大程度地实现降噪。

11、Tune ASF
ASF是一种自适应滤波器，可以根据边缘的检测对图像的不同部分应用平滑和锐化。它平滑较少细节的区域，以消除噪声和锐化边缘，以增加图像的清晰度。

13、DRC gain
3A EXIF信息对调试ISP来说主要是看三gain，一般不触发ADRC情况下三gain一致，就按对应的gain去修改即可，在触发ADRC的情况下，AEC gain根据所在的模块不同，设置不同；
GTM之前，AEC gain=short gain；
GTM和LTM之间（包括）：AEC gain=short gain＊power(DRCGain,gtm_perc)
LTM 之后：AEC gain=short gain*drc gain

14，DPC坏点矫正->BLC黑电平矫正->Denoise降噪->LSC镜头阴影矫正->AWB自动白平衡->Demosaic去马赛克->CCM色彩校正->Gamma亮度色彩->EE边缘增强

15、WNR模块通过双边滤波器对信号进行多尺度细化分解，再通过软阈值来区分噪声和有效信号，最后将滤波后的子信号进行合成。

16、空域降噪，时域降噪，和频域降噪的区别

空域降噪（Spatial Noise Reduction）：
空域降噪是在图像的空间域内进行处理，直接对图像的像素值进行操作。
它主要针对静态图像或视频中的单个帧进行处理，不考虑帧与帧之间的时间相关性。
空域降噪技术包括中值滤波、高斯滤波、双边滤波等，它们通过考虑像素的邻域信息来减少噪声。
空域降噪的优点是简单、直观，但可能会过度平滑图像，导致细节丢失。

时域降噪（Temporal Noise Reduction）：
时域降噪利用视频序列中连续帧之间的时间相关性来减少噪声。
它通过比较连续帧中相同位置的像素值，识别并消除那些在时间上不一致的噪声（即随机噪声）。
时域降噪适用于视频处理，因为它可以有效地去除由于传感器读出噪声或电子噪声引起的帧间不相关噪声。
时域降噪的一个常见方法是将连续帧进行平均，以减少随机噪声。

频域降噪（Frequency Domain Noise Reduction）：
频域降噪是在图像的频率域内进行处理，通常涉及将图像从空间域转换到频率域（如使用傅里叶变换）。
在频率域中，噪声通常表现为高频成分，而图像的有用信息则主要分布在低频和中频区域。
频域降噪通过滤波器（如低通滤波器）来抑制高频噪声，同时保留低频和中频的图像信息。
频域降噪的优点是可以有效地去除周期性噪声，并且对图像的几何形状和边缘影响较小。
常见的频域降噪方法包括Wiener滤波、小波变换等。

总结：空域降噪关注于单个图像帧内的局部邻域关系，时域降噪利用视频帧之间的时间连续性，而频域降噪则基于图像的频率成分来区分噪声和信号。在实际应用中，这三种方法可以根据具体的降噪需求和图像/视频的特性进行选择和组合。

17、双边滤波器的原理

在高斯滤波的原理上增加了颜色的权重，能更好的保留边缘细节。

18、SM6225哪些模块有径向降噪

ABF、WNR、ASF、

19、在数字图像处理中，常用的滤波技术

低通滤波器（Low-pass Filter, LPF）：
允许低频信号通过，阻止高频信号，常用于去除图像噪声。
高通滤波器（High-pass Filter, HPF）：
允许高频信号通过，阻止低频信号，用于增强图像边缘和细节。
带通滤波器（Band-pass Filter）：
只允许特定频率范围的信号通过，用于提取图像中的中间频率信息。
带阻滤波器（Band-stop Filter）：
阻止特定频率范围的信号，允许其他频率的信号通过。
均值滤波器（Mean Filter）：
对邻域内的像素值取平均，简单有效的去噪滤波器，但会模糊图像。
中值滤波器（Median Filter）：
用邻域内的中值替换中心像素值，对于去除椒盐噪声特别有效。
高斯滤波器（Gaussian Filter）：
使用高斯函数作为权重的滤波器，广泛应用于去噪和模糊。
双边滤波器（Bilateral Filter）：
结合空间邻近度和像素相似度的滤波器，去噪同时保留边缘。
最小值滤波器（Minimum Filter）：
用邻域内的最小值替换中心像素值，用于形态学操作。
最大值滤波器（Maximum Filter）：
用邻域内的最大值替换中心像素值，用于形态学操作。
拉普拉斯滤波器（Laplacian Filter）：
用于检测图像中的快速变化区域，如边缘和角点。
索贝尔滤波器（Sobel Filter）：
用于边缘检测，通过计算梯度的近似值来突出图像中的边缘。
施密特滤波器（Scharr Filter）：
一种改进的索贝尔滤波器，用于更精确的边缘检测。
Canny边缘检测滤波器：
一种多阶段边缘检测算法，结合高斯滤波、梯度计算和非极大值抑制。
小波变换（Wavelet Transform）：
在多尺度上分析图像，用于去噪、特征提取和图像压缩。

1、AE 的 shortgain 是如何影响到 ISP 的？

亮度调整：shortgain 通过增加传感器的增益来提高图像的亮度，特别是在低光环境下。这有助于在短时间内捕捉到更多的光线，从而使图像更明亮。
噪声影响：虽然 shortgain 可以提高亮度，但也会增加图像中的噪声。这是因为增益的增加会放大传感器捕捉到的所有信号，包括噪声信号。因此，在使用 shortgain 时，需要在亮度和噪声之间找到一个平衡点。
动态范围：shortgain 的使用会影响图像的动态范围。高增益设置可能会导致高光部分过曝，而低增益设置则可能导致暗部细节丢失。因此，AE 算法需要根据场景动态调整 shortgain 以优化图像质量。
曝光控制：shortgain 是 AE 算法的一部分，通过调整曝光时间和增益来实现目标亮度。AE 算法会根据当前帧的亮度与目标亮度的差异，计算出需要调整的 shortgain 值，以便在下一帧中达到期望的亮度。

2、多帧算法的基本原理

帧捕捉：从传感器捕捉多帧图像，这些图像通常是在短时间内连续拍摄的。每一帧可能包含不同的噪声和细节信息。
对齐（Alignment）：由于拍摄过程中可能存在轻微的移动或抖动，需要对多帧图像进行对齐处理。常用的方法包括光流法（Optical Flow）和特征点匹配（Feature Matching）。
融合（Fusion）：对齐后的多帧图像进行融合处理，以减少噪声和增强细节。常见的融合方法包括加权平均（Weighted Averaging）、最大值/最小值选择（Max/Min Selection）和去噪算法（Denoising Algorithms）。
去噪（Denoising）：通过融合多帧图像，可以有效地减少随机噪声（如高斯噪声）。这一步骤通常结合空间域和频率域的去噪技术，如小波变换（Wavelet Transform）和傅里叶变换（Fourier Transform）。
细节增强（Detail Enhancement）：多帧融合后，可以进一步增强图像的细节和对比度。这可以通过锐化滤波器（Sharpening Filters）和对比度增强算法（Contrast Enhancement Algorithms）来实现。
输出图像：最终生成一幅高质量的图像，具有更低的噪声和更高的细节保留。
多帧算法广泛应用于低光摄影、HDR（高动态范围）成像和视频稳定等领域。它们通过综合多帧信息，克服单帧图像的局限性，提供更优质的图像输出。

3、TF 的基本原理

基本原理：处理每个频率帧、将当前帧与上一帧融合。检测为静态时，当前帧跟未经过ANR处理的那一帧融合；检测为局部运动时，当前帧跟经过ANR处理的那一帧融合，得到最终融合处理的图片。
处理方法：
TF 强度 (FS)
a. 如果当前图像与上一图像的内容不同，FS = 0，否则物体将出现两次（即重影）；
b. 如果当前图像与上一图像的内容相同，则 FS = 63（最大值），这是因为高滤波强度可确保最大程度地实现降噪。

4、ABF模块用的是什么滤波?双边滤波的原理?

ABF（Adaptive Bayer Filter，自适应拜尔滤波器）模块通常使用双边滤波（Bilateral Filter）来进行图像降噪。
为了在不模糊尖锐边缘的情况下降低噪声，采用了一种基于相邻像素值的自适应Bayer滤波器(ABF)。
因为ABF包含一个后接软阈值的低通滤波器。低通滤波器的作用让低频噪声通过被软阈值参数设置强度处理掉，保护高频细节不被处理。可以在降噪的同时不钝化边缘。