wtzhu_13的博客

EE模块在某些ISP主控中叫做sharpness或者sharpen，这些名称指代的模块是同一个，不用再纠结。主要就是在YUV域内弥补成像过程中图像的锐度损失，对边缘和细节进行加强，从而恢复场景本应具有的自然锐度。

UVNR也就是经过CSC只有在YUV域对UV两个色域进行降噪，在有些方案里也叫CNR（chroma noise reduction）。主要就是在YUV域针对彩燥进行特殊处理的一系列算法。

主要介绍ISP pipeline中的CSC转换的相关内容

CCM颜色矫正矩阵算法讲解

ISP——Demosaicking前言人眼之所以有能感受到自然界的颜色，是因为人眼的感光细胞中有三种锥体细胞对红绿蓝三种颜色敏感，所以我们就可以通过RGB三种颜色来表示一个颜色空间，通过这个颜色空间中的点就能表示自然界中所有的颜色。那么数码相机只要能类似人一样获取自然界中的这三个分量，那么就能复现人眼看到的颜色。相机系统用的感光器件只是一个光电转换器件，所以感光器件只对亮度分量敏感，无法感知颜色，所以需要通过滤光片将光线分解成RGB三个分量然后再用感光期间去接受。那么最直接的方式就是用三个滤光片分别过滤

文章目录BNR的必要性矫正方法PCA-Based Spatially Adaptive Denoising of CFA Images for Single-Sensor Digital CamerasPSEUDO FOUR-CHANNEL IMAGE DENOISING FOR NOISY CFA RAWDATANoise Reduction for CFA Image Sensors Exploiting HVS Behaviour算法实现**相关链接**BNR的必要性RAW图上的噪声模型通常用高斯

上一篇分享了一些均值滤波相关的算法，均值滤波作为一种线性滤波器，在滤除噪声的同时也会导致边缘模糊问题。而且均值滤波对高斯噪声的效果很好，但是对于椒盐噪声的效果就很一般。但是中值滤波作为一种顺序滤波器，对于椒盐噪声的效果很好，而且保边能力很强，所以这一篇主要讨论一下中值相关的算法。中值滤波算法原理中值滤波很好理解，均值滤波就是在一个小窗口中求均值来取代当前像素值，而中值滤波就是通过求小窗口中的中位值来取代当前位置的方式来滤波。如图绿色窗口就是当前的滤波窗口，在一个3X3的邻域窗口中进行滤波。那么中值

人类的世界就是一个信号传输的世界，所以噪声无处不在，图像作为一种信号传输的方式当然也无法幸免。为了尽量减少噪声对图像质量的影响，还原物体的本来状态就提出了一系列降噪的方法，本文就简单介绍几种常见的降噪滤波算法。图像噪声产生的原因矫正方法我将图像去噪的算法大致分位这么几类，包括硬件去噪，从源头降低噪声，常见的方式有CDS(cor related double sampling)，但是这种硬件的方式不是ISP涉及的范围所以不做过多介绍。然后就大致分位空域滤波、变换域滤波和时域滤波，当然还有一些其他方式

本片博文是一篇笔记，是在看论文的时候碰到下面一段话，反复把论文看了三遍才弄懂，刚开始老觉得和gamma的特性是反的，还一度怀疑论文些错了，经过反复琢磨才弄明白，故此写下笔记记录Higher gap in intensity is needed to perceive a visual difference in very dark areas, whereas for mid and high pixel intensities a small difference in value between ad

现象上图是百度上找的一张图，是电子发烧友网站的网友的，如果发现侵权了请告知。觉得这张图能很好的看出不同gamma曲线带给人的直观感受的变化。从上往下看左侧黑色块黑得越来越严重，对比度也在逐渐加深。但是需要注意的时这幅图时一个反伽马曲线的特性，和ISP中的gamma表现时反的，这个具体后面回介绍。这个给这张图主要是对gamma有一个直观的理解。Gamma产生的原因CRT属性导致在液晶屏幕诞生前，CRT显示器时唯一的一种显示器，有的同学可能没见过，所以贴张图出来，就是老式电视和电脑那种后面带有一大坨的

ISP——AWB(Auto White Balance)现象几个概念人眼具有颜色恒常性，可以避免光源变化带来的颜色变化，但是图像传感器不具备这种特性，从而造成色偏，白平衡就是需要校正这个颜色的偏差；颜色恒常性：颜色恒常是指在照度发生变化的条件下人们对物体表面颜色的知觉趋于稳定的心理倾向；色温的定义：色温描述的是具有一定表面温度的“黑体”(blackbody)的辐射光的光谱特性。简单的理解就是颜色随温度的变化规律，比如生铁就是黑色，加热会变成橘红色，继续加热到液态会呈现偏白的颜色，这种随温度而产

现象造成坏点的原因感光元件芯片自身工艺技术瑕疵造成；光线采集存在缺陷；制造商产品差异；坏点分类hot pixel: 固定保持较高的像素值，一般呈现为画面高亮的点；dead pixel: 固定保持较低的像素值，一般在画面中呈现为暗点；noise pixel：信号强度随光照呈现的变化规律不符合正常的变化规律；矫正方法静态矫正：通常由sensor厂商在生产后进行标定，把所有坏点的坐标位置记录下来，然后矫正的时候直接通过查表得方式找到坏点进行矫正。动态矫正：就是在ISP算法中通过特

文章目录空间映射关系前向映射反向映射邻域插值代码如下：双线性插值代码如下：双三次插值代码如下：总结提示差值算法作为一种最常用的算法，在图像放大、旋转等多种变换中都有用到。由于图像进行某种变换后新的图像的像素并非完全和原始图像的像素一一对应，所以导致新的图像中会出现很多“空穴”，这是就需要对这些“空穴”进行填补。所谓插值算法也就是填补的方式。本文主要通过造轮子的方式通过图像放大来介绍三种最常见的插值算法：邻域插值、双线性插值和双三次插值。希望对各位理解插值算法有所帮助。空间映射关系在开始正式介绍插值之前

ISP——LSC(Lens Shading Correction)现象如图所示就是拍摄纯灰色卡（正常所有像素值一样）时shading的具体现象，上侧称为Luma shading,下侧称为color shading，相比较而言就是color shading除了亮度上有影响，还会影响颜色不一致。原因分析Luma shading原因引起Luma shading的主要原因时镜头的光学特性决定的，本专栏主要讲解ISP，所以这一块只能用通俗的方式解释，可能不太准确。上图是百度下载的，这幅图能比较直观地感

ISP——BLC(Black Level Correction)BL产生的原因暗电流暗电流（dark current），也称无照电流，指在没有光照射的状态下,在太阳电池、光敏二极管、光导电元件、光电管等的受光元件中流动的电流，一般由于载流子的扩散或者器件内部缺陷造成。目前常用的CMOS就是光电器件，所以也会有暗电流，导致光照为0的时候也有电压输出。如图是二极管的伏安特性曲线，从图中可以看出在反向截止区域电流并不是完全为0，而我们的COMS内部其实也是PN结构成的，所以符合该特性，并且光电二极管是工

mipiToRaw-bigEnidianAndLittleEndian（大端小端数据补充）在上一篇《MIPI数据与RAW数据的转换》中有读者提出了大端小端的问题，其实上篇写的时候就是为了避免将读者带进这种存储方式中而失去理解算法的主体的误区，就没提这个东西，因为理解好了算法本质，对于这种存储方式的不同稍作变化就OK了。但是既然有人提到这个，为了方便理解上一篇算法，这里就补充一下相关的说明。大小端储存大端存储与小端存储模式主要指的是数据在计算机中存储的两种字节优先顺序。小端存储指从内存的低地址开始，先存

ISP–MIPI数据与RAW数据的转换问题最近在用海思的raw来做ISP算法的研究，在获取raw图的过程发现了一个问题如下图[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NdAykLGs-1625140296500)(\imgs\rawInfo.jpg)]途中可以看出来10bits、12bits、16bits的数据量是一样的，而且还刚好是8bits的两倍，说明8bits的数据是通过一个字节来存储，而其他三种都是通过两个字节来存储。这个就能很好的解释这种现象。但是我又

本文主要做个链接，这一期做了视频，就没有写成博客，所以需要的可以观看B站视频https://www.bilibili.com/video/BV1Ay4y1M7BP/如图是一个基本pipeline的流程图然后解释一下各个缩写的意思缩写全称/别称解释DPCDefect Pixel Correction坏点校正BLCBlack Level Correction黑电平校正DenoiseNR降噪LSCLens Shading Correction镜头阴影

ISP——Flicker问题ISP中曝光相关概念1. shutter快门是照相机用来控制感光片有效曝光时间的机构。是照相机的一个重要组成部分，它的结构、形式及功能是衡量照相机档次的一个重要因素。一般而言快门的时间范围越大越好。从工作原理可以分为global shutter 和 rolling shutter,简单的理解global shutter就是整个sensor上的所有像素同时感光，经过相同时间后同时结束感光，而rolling shutter则是行扫描，每一行都得经历重置，曝光，读取数据的过程，然