ISP学习

原创已于 2024-05-06 11:21:17 修改 · 781 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#接口隔离原则

于 2024-03-19 15:32:12 首次发布

本文详细介绍了图像信号处理芯片设计中的关键模块，如色彩校正、镜头阴影校正、坏点校正、3A算法等，并探讨了色彩恒常性和相关技术在芯片设计中的应用。

今天看到同事分享了一个比较好的学习页面

https://www.zhihu.com/people/ybfan/posts/posts_by_votes

图像信号处理芯片设计原理----01 概论 - 知乎

图像信号处理芯片设计原理----02 镜头阴影矫正 - 知乎 (Lens Shading Correction, LSC)

图像信号处理芯片设计原理----03 坏点矫正 - 知乎（DPC(Defective Pixel Correction)）

图像信号处理芯片设计原理----04 自动对焦 - 知乎

图像信号处理芯片设计原理----05 自动白平衡 - 知乎（Auto White Balance ,AWB）

图像信号处理芯片设计原理----06 自动曝光 - 知乎（Auto Exposure）

图像信号处理芯片设计原理----07 绿平衡+去马赛克 - 知乎（GB:Green Balance + Demosaic）

图像信号处理芯片设计原理----08 色彩矫正 - 知乎

图像信号处理芯片设计原理----09 直方图统计 - 知乎

图像信号处理芯片设计原理----10 Gamma矫正 - 知乎

图像信号处理芯片设计原理----11 RGB转YUV及YUV格式 - 知乎

图像信号处理芯片设计原理——12 RAW域和YUV域上的去噪 - 知乎

图像信号处理芯片设计原理----13 图像锐化 - 知乎

图像信号处理芯片设计原理----14 超分辨率技术 - 知乎 (Image Super Resolution)

图像信号处理芯片设计原理----15 风格迁移 - 知乎

图像信号处理芯片设计原理----16 滤镜 - 知乎

图像信号处理芯片设计原理----17 HDR和WDR - 知乎

色彩恒常性 (Color Constancy)

人类视觉系统能够在各种不同的光照条件下识别物体的颜色，这种自动排除光源影响的能力称为色彩恒常性 (Color Constancy)，这一特点对应着ISP中的白平衡模块

色彩滤波阵列 (CFA, Color Filter Array)

让传感器上每个感光单元仅得到一种颜色光的信息

经过这样的设计，传感器采集到的图像就是RAW图像（如下图[3]），即图像每个像素位置仅有一种色彩信息。要恢复真实场景中的色彩，就是图像信号处理器 (ISP) 中的去马赛克模块的任务了。

镜头阴影校正 (Lens Shading Correction, LSC)

去除镜头阴影，该模块一般称为镜头阴影校正 (Lens Shading Correction, LSC)

坏点校正（defective Pixel correct，DPC）

CMOS/CCD镜头上对于外界光照失效而呈现为极亮或极暗的点，可分为坏点 (Deadpixel)、粘滞点 (StuckPixels) 与亮点 (Hotpixel)，前者是高度曝光下的暗像素点，中者是高度曝光下相同位置出现的彩色像素点，后者为极暗条件下产生的亮点。

坏点分类

从坏点的静动态分布上可以分为静态坏点与动态坏点，从像素亮度上可分为亮点与暗点。

静态坏点 (Static Defective Pixel, SDP)是由缺图像传感器技术的芯片缺陷导致，解决方案是基于既定静态坏点表，比较当前坐标是否与静态坏点表中的某坐标一致，若坐标一致则判定为坏点，然后再计算校正结果并校正。

动态坏点 (Dynamic Defective Pixel, DDP)与传感器温度、增益有关，传感器温度升高或者增益值增大时，动态坏点会变会增多，与ISO的大小有关，文献[1]表明，对于不同的ISO设定，其缺陷随着ISP增大而增多

3A算法（自动对焦，自动曝光，自动白平衡）

----------------------------------

红外算法

NUC、DPC、NR、DDE、DRC、AE、AF、Dither、LDC、Scaler、上色

可见光算法

Demosaic、LDC、BLC、DPC、2DNR、3DNR、3A、CCM、Dehaze、LTM、GTM、etc.

ISP专业术语

FE：前端处理，包括TPG、BLC、DPC

TPG: test point generator测试点生成

BLC：Black Level Correction 黑电平校正。ISP——BLC(Black Level Correction) - 知乎 (zhihu.com)

DPC： defective Pixel correct——坏点校正

BE：后端处理，包括Demosaic、LDC、2DNR、3DNR、3A、CCM、LTM、GTM、Coloring、etc

Demosaic：去马赛克。ISP算法 | Demosaic(一)_isp中的demosaic-优快云博客

LDC：Lens Distortion Correction 镜头畸变校正。图像处理——镜头畸变校正 LDC（ Lens Distortion Correction）-优快云博客

NR（Noise Reduction/Denoise）：去噪。3dnr 是结合空域滤波和时域滤波的一种降噪算法

3A算法（自动对焦，自动曝光，自动白平衡）

CCM（Color Correction Matrix）------颜色校正

GTM / LTM：Global Tone Mapping / Local Tone Mapping, 即色调映射。色调映射是为了把HDR图像的动态范围压缩到LDR显示设备的动态范围，并尽量保证图像细节不丢失。OpenISP 代码解读二：RGB Domain Processing - 知乎

FPN： NUC、LSC、De-pot-cover
NUC：非均匀性校正

LSC(Lens Shading Correction) 镜头阴影校准ISP——LSC(Lens Shading Correction) - 知乎 (zhihu.com)LSC(Lens Shade Correction)------镜头阴影校正_lsc(lens shading correction) 镜头矫正 c++-优快云博客

De-pot-cover： pot-cover 锅盖。去锅盖，即锅盖校准算法。

Dehaze去雾模块

IVE： GDC/IMGPY、MVSE、MMF

GDC：Geometric Distortion Correction 畸变矫正，图像扭曲（warping，dewarping）

IMGPY：image Pyramid 图像金字塔（图像融合技术）

MVSE（multi-view stitching engine），用于多视频的实时无缝拼接

MMF（multi-modal fusion），用于可见光与热成像图像融合

Warp：

在计算机图形学和图像处理领域，"warp"通常指图像扭曲或变形，即将图像的像素按照一定的数学变换重新映射，产生拉伸、压缩、旋转或弯曲等视觉效果。这种技术常用于特效制作、图像校正以及全景图像拼接等领域。

LUT

常用于颜色空间转换、gamma 校正、色彩分级等。通过预先计算和存储输入与输出颜色值的映射关系，LUT 能够快速改变图像或视频的色彩外观，而无需逐像素计算，大大提高了处理速度。

EIS，基于IMU的电子防抖

Dewarp，用于如鱼眼校正、EIS、多目校正等

TVI（thermal video interface) 模块，对接各厂商的各种类型的热成像数据输出接口

VIA（video input adapter）模块

MCM(multi-context management)，用于模块间直连， shared sram