sunshineywz的博客

1. 简介1.1 腾讯多媒体实验室1.2 噪声的来源1.3 硬件降噪方法2. 传统降噪方法2.1 单帧降噪上面的PPT中包含了双边滤波和小波变换的示意图。通常我们会拿双边滤波和高斯滤波进行对比。对于高斯滤波来说，在处理当前像素的过程中会用到当前像素附近的像素做加权平均，权重取决于当前像素和周围像素的距离，距离越远则权重越小。双边滤波除了考虑距离之外，还会考虑当前像素和周围像素颜色的差异，对距离近但颜色差异大的像素会分配一个小的权重，这样做就不会模糊了边界，实现了保持边界的滤

棚拍：色彩精准、抗噪强悍　棚拍测试以标准光源D65环境下实际棚拍为依据，经过多次测试，通过Imatest测试软件进行测试，并对其各方面表现进行评分。　系统建立于知名的数学运算平台Matalab，可靠性相当高，制图内容相当有深度。　这里我们选用Imatest以及24色标准色卡以及灰阶测试图卡来量化测试机型棚拍样张的色彩还原、白平衡和动态范围。1、解析力：拍摄棚拍环境中的ISO12233:2000解析力TestChart，同时考量中心水平解析力以及边缘解析力。解析力是指分辨被摄原物细节的能力，解析力越好

背景下图是使用单反相机在ISO6400条件下拍摄24MP分辨率图片的预览效果。看起来似乎还不错，但是如果将图像放大到100%显示，则真实效果是这样的，原生画面上实际充满了各种颜色杂乱的斑点和斑块，几何线条也不太清晰。这些破坏图像质量的东西就是噪声。噪声（Noise）噪声是图像中不请自来的信号。在数码照相机和摄影机产品中，总的规律是光圈越小、（电子）快门越短、ISO越高，图像噪声就越大。图像中的噪声有多种来源，下图列举了几种常见的噪声模式，即固定模式噪声（FPN），由于图像传感器的空间不均匀性

3D降噪原理是对图像中的运动物体采取2D降噪，静止部分（称为背景）采取3D降噪以防止运动物体模糊（blur）。1）第一步为运动估计在参考帧（为前一帧已经过降噪的图像）中搜索和当前帧中16*16当前块相近的参考块，其中最相近的块为匹配块。根据匹配块，获得运动向量（motion vector）。为减小计算，一般仅在以当前块为中心的一个小范围内搜索参考块，如在20*20的小范围内。2）滤波模式判断设置两个门限值：参考块和当前块差值残差阈值TH1 （通常为一个较小的值，如5 ~ 20之间）运动向量

在验证白平衡效果时，使用Imatest软件来评价处理后的标准24色板，比较客观准确。The First Figure: Gray Scale Analysis此图显示了色卡底部的灰色色块和选定的EXIF数据的色调响应和噪声左上图显示了六色块的像素级别。伽马（即涉及像素级别的景物亮度的方程指数）是由一阶拟合确定（蓝色虚线所示）。它是色卡（灰色正方形）的密度响应。它包括一阶和二阶拟合（蓝色和绿色虚线）。横轴为对数曝光（减去目标密度）右上图是传递曲线 （对胶片转移曲线具有类似的缩放）：密度（log（像素

白平衡调整流程原理很简单:1,在各个色温下(2500~7500)拍几张白纸照片,假设拍6张(2500,3500…7500),可以称作色温照.2,把色温照进行矫正,具体是对R/G/B通道进行轿正,让偏色的白纸照变成白色,并记录各个通道的矫正参数. 实际上只矫正R和B通道就可以,这样就得到了6组矫正参数(Rgain,Bgain).3,上面是做前期工作,只要知道当前场景是什么色温,再轿正一下就可以了所以,AWB算法的核心就是判断图像的色温之前拍了6张色温照以及6组矫正参数. 插值一下可以得到无数个.

人在观测物体时，视线和感知会根据场景光源进行自动调节。而机械以及光敏元件则会受到场景光源影响，并且无法判断和处理这种不良影响。先验：白光的RGB分量为(R=G=B=255)；灰色的光(R=G=B)。算法：灰度世界算法GW(自动白平衡广泛应用)假设：一副有足够色彩变化的图像，RGB的均值趋于相等。GB没有写，都是一样的，这里非常简单地做了一个映射，以此来达到灰度世界的假设。该方法较为简单，可也忽略了一些细节问题。R_ave，代表红通道均值，其他类似。全反射理论算法PR(自动白平衡最常用之一)

第一，颜色的准确不仅取决于AWB模块，这是系统性的工程比如，一个车载项目，囿于其使用环境，日夜切换不能满足，只得用双通滤光片，但是该滤光片红色波段截止不彻底，导致在650-700波段仍有透过，结果就是在低色温下黑色物体偏蓝，其他颜色（除了蓝色）均出现不同程度的偏色，整个色卡看起来发“蒙”。这个问题其实包含三个问题，其一，为何黑色偏蓝；其二，为何只有黑色偏；其三，为何是F光源偏。经过分析，得出以下初步结论：其一，黑色偏蓝是因为RAW上R偏多，导致偏青，表现出来就是蓝；其二，黑色是因为吸收能力强，所以，

一．ISP 框架图 1：ISP标准流程b) 去马赛克(demosaicing)Demosaicing的意思是如何将采集到的Bayer单通道像素值转成RGB三通道的数据。例如下图4(左图)，这是我们采集到的单通道图像，我们需要估计R5位置处的G5和B5. 目前常用的方法是：1.简单插值。图 4： 简单插值edge-aware 插值上述都是基本的简单方法。在改进方面，近几年也有比较新的工作，如文献[5,6]。c) 白平衡(white balance)图 6：相机白平衡的原因；人眼会根

关于AE（Auto Exposure）AE算法思想和曝光量公式：（1）AE的基本概念：Auto Exposure即自动曝光，是相机根据外界光线的强弱自动调整曝光量和增益，防止曝光过度或者不足的一种机制。可见，AE的输入为当前影像的亮度值Y，输出为sensor的曝光时间和增益，isp增益和镜头光圈（如果镜头光圈可调）。当AE algorithm得到当前帧的亮度后，便会与target Y做比较，然后计算出下一次需要调整的参数，以便让影像的亮度越来越接近target Y，如下所示。PS:target并非

ISP(Image Signal Processor)，即图像信号处理器，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。主要内部构成如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为ISP 是一个 SOC，可以运行各种算法程序，实时处理图像信号。ISP 架构•CPUCPU 即中央处理器，可以运行 AF、LSC...