luoganttcc的博客

参考第二篇, 直接操作, 无bug.clone Halide源码。

hello， 今天聊一聊ISP当中的一个重要模块CCM；为什么ISP模块中要有这个模块呢，上面列的一堆原因，最重要的因素是我们肉眼的对光谱的RGB响应曲线和sensor的响应曲线是不同的；CCM一般是3x3矩阵形式，也有3x4形式的，3x4形式主要是给rgb各自加一个offset保证灰点也就是r=g=b的点，经过CCM以后仍然r=g=b；注意shading影响，拍这个色卡占整个sensor中间一小部分就可以主要包括减blc，根据第4行的patch，获取awb gain值，乘上去；

好，我们一一对应上之后，我们以上海到北京的高铁为例，假设全上海的人都要坐高铁去北京，为了达到最高效率，那就是上海到北京的铁轨上高铁首尾相接，从上海虹桥排到北京南站，这些首位相接的高铁还都以310Km/h的速度前进（这里我们不考虑高铁停在北京南站下客减速的时间哈）。大家都知道AXI是ARM AMBA协议家族的一员，AXI的很多特性，例如分离的读写通道、Burst传输，Interleaving、乱序返回等特，显著提升了SOC互连的性能。和高铁列数的计算类似，我们首先需要确定AXI Master 在需要的场景。

摄像机用来成像的感光元件叫做image sensor或imager。CMOS Image Sensor (CIS) 最早是美国喷气推进实验室（Jet Propulsion Laboratory, JPL）的一个研究项目，Dr. Eric Fossum 是业界公认的CIS技术发明人。1992年，在美国加州Pasadena(帕萨迪纳)的喷气推进实验室工作，负责NASA一些雄心勃勃的太空探测器的建造和运行。那一年NASA向员工们发出了一个颇为有趣的要求 ——“更快，更好，更便宜”。

其实这个结论是不正确的，S-Log3的暗部噪声看起来更大只是因为暗部的编码值比S-Log2曲线更高，因此噪声的表现更加明显，而决定图像质量的唯一指标是信噪比（Singal-Noise Ratio, SNR），在这个关键指标上两种曲线并没有任何区别，换句话说，使用S-Log3并没有在原始图像中引入新的噪声，也就没有破坏图像的质量，在对log图像进行调色后，图像就会恢复正常，和使用S-Log2没有任何区别。线性数据经过Log律变换之后，R/G/B的幅值被压缩，颜色的饱和度降低，图像看起来灰灰的，因此称为灰片。

应热心网友的邀请，特别写一期关于downsample的文章，希望能够对新老用户都有一定的启发。对于一个相机来说，镜头的主要作用是收集物方空间（object space）的光线，然后按照一定的函数关系把光线投射到像方空间（image space）。显然，物方空间的会存在一些人们感兴趣的物体（object），而像方空间的焦平面上，会有一个image sensor，它负责把光信号转换成电信号，再经过AD转换后变成一个个数字记录下来。

在实验室环境下可以事先标定出参考白色在不同色温下的(R/G,B/G)比值，实际工作时，ISP硬件可以将符合白色比值关系的像素区域筛选出来生成统计信息，得到所有白色的平均比值，自动白平衡算法根据硬件报告的平均比值反推当前环境的色温，并根据预测的环境色温选择合适的RGB增益和其它色彩控制参数。不论是哪种情况，白平衡的处理都要考充分虑渲染环节的特性。该算法认为，在一种光源下能够观察到的颜色（observable colors）是有限的，这些可观察的颜色即构成该光源的色域（gamut），而不同的光源色域是不同的。

CDAF 的算法也可以借用聚焦点的概念，只不过CD 算法的聚焦点是算法任意指定的，并不对应sensor 上的一些特别物理构造，因此也没有数量上的限制。在很多其它应用中（如手机）很难有足够的空间容纳专用AF组件，所以经常会采用另外一种PD原理，即把一部分成像用的像素用不透光的挡住一半（分成左和右两种），设计成如下所示的AF相位检测像素，当光学系统的参数（如光圈大小）发生变化时，光能量的扩散特性也会随之变化，因此焦点的位置也会发生一定程度的偏移，这个现象叫做focus shift，原理如下图所示。

人眼种存在三种感光锥细胞，分别对红、绿、蓝三种波段敏感。因此描述一个人眼可见的颜色需要且仅需要三个分量，这三个分量能够支撑起一个颜色空间，该空间包含了人眼能够知觉的所有颜色。仿照人眼的原理人们设计了3CCD成像方案，如下图所示。这个方案的核心是一个光学分光棱镜，它的使命是将全色谱的入射光线分解成红绿蓝三个波段，分别投射到三个CCD阵列上。3CCD分光棱镜原理3CCD方案成像效果非常好，但是存在技术复杂、成本高的缺点。

源码

首先需要介绍一下曝光：光线强度乘以光线所作用的时间。定义中的“光线强度”，是指Sensor受光线照射的强度，即照度；定义中的“光线所作用的时间”，是指感光胶片受光线照射的时间，即曝光时间。曝光量以E表示，计算单位就是勒克斯·秒。若要取得一定量的曝光量，则光强度越大，曝光时间越短；光强度越小，曝光时间越长。曝光是拍照最基本也是最重要的技术之一。下图是用从1.3秒到15秒的时间分别对同一个夜景进行拍摄，时间过短了称为欠曝，时间过长了称为过曝。不过曝光时间只是影响曝光强度的因素之一，后续会提到。

3A定义3A 是Camera ISP 控制算法的一个重要组成部分，通常分为自动曝光(AE)、自动聚焦(AF)、自动白平衡(AWB)三个组件。本问主要讨论AE，关于AF的内容可参考相关主题文章刘斯宁：Understanding Auto Focus71 赞同 · 8 评论文章关于AWB的内容可参考相关主题文章刘斯宁：Understanding White Balance Control126 赞同 · 21 评论文章。

下载网盘链接是公众号“电脑DIY圈”里的分享，不是博主自己的，另外此安装教程同样来自电脑DIY圈公众号，博主仅做整理，以便日后需要。8、在选择许可证文件页面点击“浏览”，找到最初解压后文件夹的位置，找到Crack文件夹，打开，选择license.lic文件。12、完成后关闭界面，打开crack文件夹，找到名为“”libmwlmgrimpl.dll“的文件，复制。9、选择安装路径，文件较大，一定选择足够空间的盘去存储（文件路径中不能含有中文！7、下载好的压缩包里有秘钥的txt文件，复制粘贴就好。

是一种颜色编码方法，和它等同的还有 RGB 颜色编码方法。

写在前面，本文为笔者参考了很多篇博客，传感器手册，芯片手册，汇总了 ISP 可能涉及到的步骤流程，整理所得万字长文，并针对 ISP 芯片流程图总结画出了题图的 ISP流程图，如有错误轻喷。

使用三刺激值来定量描述颜色是一种可行的方法。为了测得物体的三刺激值，需要研究人眼对颜色的感知特性，但是不同人的视觉特性有所差异，因此采用。很多人做过实验，只是导致数据无法统一。1931年CIE组织在莱特和吉尔德两人的颜色匹配实验基础上，改变了三原色的波长并以相等数量的三原色匹配出等能白光的方式来确定三刺激值单位。三个实验的差别如下表所示。

既然要绘制这个图，大家应该对xy色品坐标有所了解。如果不是很了解的可以参考这个CIE1931xyY色度图-复旦大学.ppt了解一下基本的色度学知识。色度图中的外形轮廓线是可见光范围里(约380nm-760nm)单色光颜色轨迹线等能白点E的坐标。

srgb

两图比较，由plot_RGB_chromaticities_in_chromaticity_diagram_CIE1976UCS()绘制的pointer色域图与第一个（matplotlib绘制）略有不同，在见右上角处。根据色度学，pointer色域是自然界常见的颜色范围，目前所用的几种颜色空间都是围绕pointer色域来定义，使之尽可能多的包含pointer色域。BT.709色域是HDTV采用的标准，对CIE1976色域的覆盖率为33.2%，对pointer色域的覆盖率为70.2%。

一般情况下， 在传感器中，实际像素要比有效像素多， 如下图所示， 像素区头几行作为不感光区（ 实际上，这部分区域也做了RGB 的 color filter），用于自动黑电平校正，其平均值作为校正值， 然后在下面区域的像素都减去此矫正值，那么就可以将黑电平矫正过来了。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。所以， 一般采用非线性去噪算法， 例如双边滤波器， 在采样时不仅考虑像素在空间距离上的关系， 同时加入了像素间的相似程度考虑， 因而可以保持原始图像的大体分块， 进而保持边缘。