大熊

原创 关于双边滤波的一些理解

关于双边滤波的一些理解双边滤波是一种非线性的保边滤波。那么双边滤波是如何实现保边滤波的呢？1.双边滤波公式解析：我们先从双边滤波的公式入手：双边滤波器之所以能够做到在平滑去噪的同时还能够很好的保存边缘（Edge Preserve），是由于其滤波器的核由两个函数生成：空间域核和值域核（1）空间域核：由像素位置...

原创 关于高斯滤波的一些理解

滤波算法简介 图像处理中，常用的滤波算法有均值滤波、中值滤波以及高斯滤波等。均值滤波使用模板内所有像素的平均值代替模板中心像素灰度值，这种方法易收到噪声的干扰，不能完全消除噪声，只能相对减弱噪声；中值滤波计算模板内所有像素中的中值，并用所计算出来的中值体改模板中心像素的灰度值，这种方法对噪声不是那么敏感，能够较好的消除椒盐噪声，但是容易导致图像的不连续性。高斯滤...

原创 读《活法》有感

如非必要，勿增实体”。实际工作中，也经常遇到类似的情况。一个方案或者一种算法，亦或者是具体工程问题，都可以适用这种原则。比如解决一个工程问题，如果不对该问题进行抽象，而只是对该问题可以想到的各种情况进行防御性处理，势必有些情况无法处理到。该问题出现的各种情况可以看作是此问题的表象，一个问题可以有N种表象，甚至有些问题的表象无法穷尽。而对问题进行抽象，比如数学建模或者其他抽象概括手段，则是提炼出问题的核心本质。抓住了本质，那么无论问题的表象如何变换，终究可以一击即中，优雅高效的解决问题。

原创 MTK AWB 色温曲线的进一步猜想

平均距离来判断是否对该色温下白平衡进行全部收白处理，还是保留一些光源的本身的颜色。比如占据图像一大半左右的纯色背景，纵坐标值相对横坐标的距离应该会比较大，大于一般场景下的正常白点分布。反之，位于Plank_curve下方位置的点具有偏洋红色的倾向。此时拟合各个色温下的白点，拟合曲线大致是以X= 0.85）平行于横轴的一条直线。对原始坐标系中的点取对数后的Log坐标系空间。此时拟合各个色温下的白点，拟合曲线大致呈现的是一条直线。，可以认为是各种色温下白点分布所呈现的走向。的算法利用某个色温点的偏离。

原创 近期一些客户支持工作的思考

原创 关于ISP Pipeline LSC（镜头阴影校正）位置的一些想法

关于ISP Pipeline LSC（镜头阴影校正）位置的一些想法

转载 RTL硬件实现 | 定点化

如果x的值为111，则（10×111）>>8=4（“>>”是右移8bit的意思，等同于除以256后向下取整），当然如果除法的后面还有其他操作，比如（x/25）×18，那8 bit的移位可以挪到乘法后再做，比如((10×111×18)>>8)=78，如果先移位8bit再乘18则变成了((10×111)>>8)×18=72，前后相差了6，这个6就是除法器精度带来的好处。其中(2^n)/25是一个固定的系数，而分母上的2^n可以通过移位实现，这样就把一个除法计算转换成了乘法+移位的操作，达到了节省除法器的目的。

原创 一次32bit有符号数据类型转换为64bit无符号数据类型引发的溢出错误

即底层在转换为无符号的时候，需要根据高位进行判断，最高位是。当达到最低帧率最低亮度时，其调试工具界面上应该显示的也应该是如上最大的。后续调整曝光参数的过程中，特别是的照度下比较暗的情况下计算出来的。，计算机中负数以补码的形式保存，故对应的二进制为：（参数会超过配置文件中设置设置的最大曝光参数值。无符号过程中，中间乘积出现了溢出情况，导致最大的。这样不断的降低帧率调试低照度下的图像效果。值的时候，代入相应的曝光参数计算得到最大。节点的数据类型都是设置的有符号的。驱动库相关的接口获取当前的。

转载 CMOS曝光时间的理解

What does the camera sensor actually detect? It detects photon counts; the more photons that hit the sensor elements, the more those elements increment their counters. As our camera has no physical shutter (unlike a DSLR) we can’t prevent light falling on

原创 海思AE模块Lines_per_500ms参数的意义

相反的，由微秒为单位的曝光时间转换为对应以曝光行为单位的曝光时间的时候，前者转换后的结果所带来的误差也比后者大。海思AE模块参数中有一个LinesPer500ms的参数，意思为500ms对应的曝光行数。，必须满足每一行获取的能量是交流电能量周期的整数倍，否则会应为获取的能量不一致，导致水波纹现象的产生。的调整，而调试工具界面除了曝光时间上下限是以曝光行为单位，其他时间相关的都是以微妙为单位。参数主要是进行以曝光行为单位的曝光时间和微妙为单位的曝光时间的转换。对应的曝光行数）的参数去进行抗闪时间计算呢？

转载 exposure_line 是如何曝光的 ?

1、读者提问：exposure_line 是如何曝光的，我看网上说这个代表的是一帧曝光多少行，那如果一帧 exposure_line 小于frame_length，那一帧后面的行就不曝光吗？不知道怎么理解，是曝光到1500行，然后继续在1501，继续曝光，一直循环，是这样理解的嘛？2、问题回复：曝光行是一个相对时间，他就是一个时间单位，和秒，毫秒一样的，都是用来表示曝光时间的单位。曝光1500行不要理解成了曝光到了1500行，而是在当前亮度下，一帧图像曝光完成的时间就是1500行。

转载 【蜗牛黑板报】sensor曝光基本原理2

3). 对于软件帧同步，主摄和辐摄的帧率相同的前提下，主摄和副摄的匹配最多有半帧的差距。因为，sensor的setting中的帧率一般就是最大帧率了，也就是说在不更改setting的情况下，使用者只能降低帧率，不能增大帧率，即不会超过setting中给定的帧率。我们用示波器去测量数据波形的数据，一般采集到就是数据的读出过程的数据，即sensor的曝光过程无法体现。7). sensor 曝光之后才会去出流，对于出第一帧来说，要等1.5帧左右才会出来，这个1.5帧就是做曝光等动，所以第一帧会出的慢。

原创 Image Sensor卷帘曝光（Rolling Shutter）基本原理以及对曝光行的通俗理解

由于CMOS sensor的曝光方式是一行一行的方式进行的，任何一个pixel的曝光时间是一样的，也就是同一行上的每个pixel的曝光开始点和曝光的时间都是一模一样的，所以同一行的所有点所接受到的能量是一样的，而在不同行之间虽然曝光时间都是一样的，但是曝光的开始点是不同的，所以不同行之间所接受到的能量是不一定相同的。至此完成了这一行的曝光。还是以桶装水为比喻： 排成一行的桶（桶的数量和每个桶的大小确定），每一曝光行为单位的时间内每一个桶加水都是一样，需要多少个曝光行才能使的所有水桶加起来的水达到1L。

转载 如何修改 sensor 输出帧率

因为降帧后，每帧图像的曝光时间就变长了，相同照度下相比未降帧前，用到的sensor gain 就小，噪声情况就会有所改善，只要噪声小，能做的事情就多了，比如增加清晰度、提高亮度、调高色彩饱和度等等。首先我们先求pclk的值：pclk = frame_length ∗ line_length * fps，公式里的帧长和行长就是 VTS 和 HTS，这两个值默认的setting里就有，因为pclk是不变的，我们可以通过初始的30fps的setting来计算出 pclk 的值。

转载 【蜗牛黑板报】红外850nm与940nm区别

5). 在相同电流条件下，由于940的压降低，故其功耗会比850小一些，所以同样大小的芯片940承受的电流会比850的电流可以大一点。使用850nm发射管时，需要注意防静电，使用烙铁不能超过30W，时间不能超过三秒，浸焊时温度不能超过260度，时间也不能超过三秒。，所谓红爆是指红外灯在工作时芯片出现目视可见的红点，所以如果在需要隐蔽的情况下，使用940是不错的选择。3). 850的辐射强度比940的辐射强度值要高2-3倍左右，辐射强度值高的话表现出来的。6). 850的使用寿命比940的长。

转载 做成像的你不能不了解的真相8-如影随形的噪声（上）

如果读出噪声的中位数为1e-，也就是说一半的像素的读出噪声少于1e-，另一半多于1e-。然而，由于CMOS相机的读出噪声不再遵循高斯分布，而是呈倾斜分布，其RMS和Median噪声不相等，有一些像素的读出噪声非常高，比如达到3e-。尤其是在弱光高速成像中，其他噪声的影响很小，读出噪声定义了相机的探测下限。这里要告诉大家的坏消息是：散粒噪声的存在是一种物理现象，是不能通过相机的设计来减少的，但它却是信噪比中重要的影响因素。实际生活中的噪声多种多样，比如声音的噪声、电信号传输的噪声以及相机的噪声等等。

转载 相机制冷温度越低越好么？——做成像的你不得不了解的真相9

两种相机使用同样的背照式芯片，因此量子效率和像元尺寸相同，所以收集到的信号相同，散粒噪声也相同。目前市面上常见的CCD和sCMOS相机多为制冷相机，具体的制冷温度在各个生产厂家和相机型号之间各有不同。接下来我们将会开启一个新的系列，继续为大家介绍相机应用知识，什么，想知道系列名称？尽管两种相机制冷温度相差20℃，但由于暗电流本身非常小，无论是在强光还是弱光条件下，对于信噪比的贡献都非常微弱，可以忽略不计。即使是在长达1s的曝光时间下，两者暗电流的差别也只有0.1e-，信噪比差别仅为0.01。

转载 如影随形的噪声（下）——做成像的你不得不了解的真相8

Photometrics 在噪声控制方面一直是业内的佼佼者， Prime 95B和Prime BSI都内置了最先进的denoising技术，它采用先进的内嵌图像算法，对单帧图像实时处理，在降低图像噪声的同时，不影响信号强度，保证了图像的可定量性。对比下图中使用denoising功能前后的图像，我们可以很明显的看到信噪比的提高，下方的线强度曲线（line profile）也充分展现了denoising功能优异的降噪效果。本期小编就想和大家探讨一下，常用的提升信噪比方法的技术原理，并对他们的效果做定量分析。

转载 如影随形的噪声（中）——做成像的你不得不了解的真相8

为了更形象的进行说明，我们拍摄了150张bias图片，找出其中典型的高噪声像素和低噪声像素灰度值的分布情况（图2）。可见，像素的灰度值会随机地在平均值上下变化，低噪声像素的变化区间很小，而高噪声像素的变化区间较大，标准差更大，也就是说噪声更高。椒盐排条虽然好吃，撒了椒盐的图像可不好看，试想一下我们拍了一张图片，却发现上面布满了雪花点，是不是累觉不爱。而CMOS每个像素都有独立的放大器，每列共用一个读出口，因此，每个像素的读出噪声不同，总体遵循。位于偏态分布尾部的那些像素具有相对更大的读出噪声，称为。

转载 两分钟测算相机增益(Gain) - 做成像的你不能不了解的真相7

的前提是，图像区域内没有任何样品结构造成的亮度变化，否则标准差还包含这个结构信息。为此，我们可以连续拍摄两张同样场景的图像，然后把两张图像相减。然而，杯具的现实是，方法很简单，在相机完全无信号的情况下，（如显微镜设为全部光都到目镜，或者盖上镜头盖），将曝光时间设为0, 拍摄一帧图像。我们还可以设置不同的曝光时间，重复上述步骤，用多次测量所得的值作图，通过拟合曲线来观察增益的线性度。的设置，图像亮度会变化，但实际探测到的电子数不变，因此信噪比变化不大；的人都找不到相机的出厂报告，也就是说并不知道自己相机的。

转载 分辨率（2）- 做成像的你不能不了解的真相6

这时候通常的做法是，加入1.5x额外的光学放大（也可以理解为使用1.5x C-mount），这样16μm像元就等价于1x C-mount时11μm的像元了。把上面的计算应用到其他物镜，可以得到常用物镜与最佳匹配像元尺寸对比表（如下），作为我们的第三个结论：通常情况下，低倍率物镜要求高分辨率相机（小像元）与之匹配。对有些超高分辨率应用，需要对图像做后续deconvolution处理，有时需要做3x或4x的数字采样，此时匹配的分辨率需要在图4表格的基础上做相应比例的缩小。），继续讨论科研相机的分辨率。

转载 分辨率（1）— 做成像的你不能不了解的真相6

在选择相机的时候，如果是极弱光和高速的应用，需要追求极限灵敏度，那么选择像元尽量大的相机，譬如Photometrics Prime 95B sCMOS像元11 μm；如果追求分辨率，那要选择像元尽量小的相机，譬如Photometrics Iris15，1500万像素，像元小至4.25 μm。但在讨论科研相机的分辨率和成像质量时，单看像素个数是不全面的，应该使用更科学的标准来判断。事实上，当像素个数增加时，单个像元的尺寸变小，这才是分辨率提高的真正原因。如下图所示，发生衍射后所成的像，比实际的样品大。

转载 图像信噪比计算-做成像的你不能不了解的真相5

测量信噪比，需要在同样条件下拍摄多张图像，然后对感兴趣的像素在这一系列图像中的亮度做统计分析: 这些亮度的平均值为信号，标准方差为噪声。我们把显微镜的光设置为全部到目镜，或者盖上相机的镜头盖，用很短的曝光时间(比如1ms)，这张图像中仅含偏置offset和读出噪声 read noise，没有信号，称为Bias图像。如果要分析的对象，均匀的ROI或较长的Line都比较难定义，如下面图像上亮的块状或点状区域，这时可以先测量小的ROI的平均亮度，换算为电子数，再通过理论信噪比公式来计算。

转载 灰度值与电子数-做成像的你不能不了解的真相4

简单的说，偏置指每个像素强度的初始值，也就是“相机的底”。通常来说，偏置是一个固定的值譬如100，是相机公司在制造相机的时候人为设置的。如果相机的底是0，向下波动的噪声会产生负值，而相机中不能有负值，于是一部分数据被Cut掉了，影响了数据的真实性，设置一个初始值便能很好的解决这个问题。“假设图像中某个像素的灰度值(ADU)为400，已知该图像拍摄时使用的增益(Gain)为0.5 e-/ADU，相机的偏置offset经测为100 ADU，请问这个像素中收集到了多少个电子？电子是实际的物理量，而ADU并不是。

转载 做成像的你不能不了解的真相3- 信噪比2

这个，小编也准备了，要下下回分解。第二，如果逐步减少信号强度，蓝色曲线更早的开始偏离理想相机的平行线，而黄色曲线在信号即便很弱的情况下也与理想相机更相似，原因在于量子效率95%的这台相机同时其读出噪声更小（1.5e-）。两位同学来帮忙了，左边是同学A拍到的图像后强度的分析，右边是同学B，柱状图是两种细胞的平均强度，红线代表了标准偏差（噪声）。第一逐步提升信号强度，两条曲线都在向理想相机的平行线靠拢，但永远无法达到理想相机的水品，原因就是量子效率无法达到100%，但高量子效率的相机更趋近于理想相机。

转载 做成像的你不能不了解的真相3 - 信噪比1

数字成像设备，需要将光信号转换为可以测量的电信号，例如共聚焦显微镜里的光电倍增管（PMT），或是宽场荧光成像使用的相机（CCD，CMOS相机）。不过，实际拍照时，由于各种原因，例如避免光漂白、光毒性，或是为了提高速度，活细胞成像的信号常常处在相对较低的水平，这时候我们就需要借助信噪比来判断图像质量好坏与否了。除了判断图像质量，对于很多需要做荧光定量测量的应用，例如简单的钙离子成像，FRET/FRAP，或是复杂如单分子定位的超高分辨率成像（STORM/PALM），这也是一个非常重要的概念。

转载 做成像的你不得不了解的真相2-灵敏度和QE

根据已知的相机增益(Gain)和偏置(Bias), 用以下公式，换算为真实的强度值(电子数)。背照式芯片将前面提到芯片反过来，半导体信号检测区直接面对信号来源，信号不用穿过上述的金属结构层，上述对信号的阻挡也就不存在了。芯片厂商提供的比如82%的QE，在实际应用时是否能实现是有疑问的。由于半导体材料对光信号的吸收效率和波长相关，我们看到的QE曲线横轴为波长，纵轴为百分比。即实际实验结果，95% QE的背照式CMOS相机，在相同实验条件下，能检测到的信号是82%QE CMOS相机的1.27倍。

转载 做成像的你不得不了解的真相1-对比度

为什么说它玄幻呢，因为对比度是除了信噪比以外对图像视觉影像最大的一个参数，但他的词义同时非常广泛，你的电脑屏幕、你拍到的图像、你使用的科研CCD相机都有对比度，但这几个对比度之间或多或少又有些区别。灰度最小值为0，最大值为图像的位深，例如位深为8的图像（即我们常说的8位的图像或者8bit的图像），最大值为2的8次方即256；其中右边的蓝条代表最亮的灰度值，左边的红条代表最暗的灰度值，拉动红条和蓝条实现图像对比度的调节。过程3将图像的灰度值与电脑屏幕的纯白和纯黑对应设置的过程我们称之为图像的对比度调节。

转载 一道图像传感器设计工程师面试题

小于230nm波段的光子能量高，穿透能力强，被吸收的概率减小，因此随波长减小QE减小，大于240nm小于280nm波段的光随波长减小，吸收长度增加，不与表面态复合，QE增加，因此在230-240nm处出现尖峰。加了钝化层后，光子会在更深处被吸收，如果在耗尽层被吸收，产生的电子可能被临近像素吸收，降低MTF；在280nm-360nm之间，随波长减小，吸收长度呈减小趋势，在小于280nm时，吸收长度增加，因此在吸收长度最小的280nm处附近，光子被表面吸收的最多，QE最低。增加外延层厚度，增加对红光的吸收；

转载 CMOS图像传感器 NIR-近红外的飞速发展

人眼对波长400nm~700nm的电磁波敏感，波长在700nm~2500nm的都可以称为近红外波段。对于基于硅的CMOS来说，能够响应的最大波长约为1100nm，也就是说，CMOS图像传感器对于波长超过1100nm的电磁波，是没有响应的。本文中提到的近红外波段，也特指700nm~1100nm波段的光信号。图1 电磁波波谱图2 CMOS图像传感器的极限---1100nm。

原创 CMOS频闪原理介绍

CMOS图像传感器采用行曝光技术，即每次曝光一行，行与行之间间隔一定时间(具体间隔时间值不同厂商有不同规定)，因此，每一行的曝光起始点都不相同，如果曝光时间不是周期的整数倍，则备行所接受的光强有可能不同，虽然各行的曝光时间是一样的，但是也会造成明暗不同的变化，即我们所说的Flicker现象。CCD图像传感器采用的是面曝光技术，一次曝光一整幅图像，如果我们设置的曝光时间不正确，虽然不会出现行与行之间的明暗变化，但是会造成连续图像间的明暗不同，给人一种图像闪烁的视觉感受，这也是。当光源强度恒定时，不受此限制。

原创 摄像头控制器芯片算法研究与实现

提出了一种等亮度曲线的自动曝光算法

原创 书籍推推荐之二--《生命的色彩》

我们为什么没有绿色的头发”，史钧老师从这个饶有趣味、看似普通简单实则深奥复杂的小问题作为切入点出发，探讨了色彩与视觉形成、色彩与体温调节、色彩与体型大小、色彩与群居动物的社会交往等问题，详细叙述了色彩是如何对生物进化及人类社会构建发挥作用的。作者延续一贯的幽默文风，以头发为经、色彩为纬，通过解谜式的巧妙铺陈，串起进化史中的各种复杂问题，将零散的知识点整合成一张庞大而细密的知识网络，叙述逻辑严谨而又妙趣横生，令人拍案叫绝。

原创 书籍推荐之一《Image Processing of Edge and Surface Defects-Theoretical Basis of Adaptive Algorithms with》

简而言之，我们需要对缺陷产生的过程进行分析，同时也需要对缺陷的检测进行分析。我已经成功地在几个工业图像处理系统的开发中使用了这种方法，并随着时间的推移对它们进行了改进。我想在一本关于边缘和表面缺陷检测的基于边缘的算法的实践书中展示所取得的结果。一旦理解了这些过程的原理，就可以在适当的物理模型的基础上对过程进行数学描述，然后可以在缺陷检测的算法中进行捕获。这本书讨论了对自由形状边缘和非均匀表面缺陷的识别。比如苹果手机外壳缺陷检测、机械零部件的表面缺陷检测、木材的纹理检测都可以借鉴本书中所描述的方法。

原创 一种基于三角剖分划分白区范围的白平衡算法

提出了一种利用三角剖分划分白区的白平衡算法

转载 机器学习中的特征工程锦囊：对数变换

对于呈现长尾分布的特征，我们不能简单的去除掉长尾部分的特征值，因为这些长尾的尾部很长，在特征分布中占比其实也并不低，事实上具有很大的信息量，对模型来说很有价值。根据前面发现的log函数所具有的性质，我们就可以通过log转换使得较小值区间在转换后被扩展到一个变化较大的范围内（x数值较小时，y值变化较快），而长尾的大值区间被压缩到一个变化较小的范围内（随着x值不断变大，y值变化越发平缓），进而整体上减缓长尾分布这种极偏的分布状态，为低值端争取更多的空间，将高值端尽可能的压缩，使得整体分布更加合理。

转载 如何构建二维直方图？

为了提取颜色信息，我们需要一个颜色模型，其中两个分量/通道可以单独表示图像的色度（颜色）。这里，Y 和 X 轴对应于红色和绿色通道范围（对于 8 位，[0,255]），直方图中的每个点显示对应于每个 R 和 G 对的频率。然后，循环通道内的每个位置，找到相应的强度对频率并将其绘制在二维直方图中。这将是我们的二维直方图。假设我们有 4×4、2 位的红色和绿色通道图像（如下所示），并且我们想要绘制它们的二维直方图。通道：[0,1] 表示（蓝色，绿色），[1,2] 表示（G，R），[0,2] 表示（B，R）。

转载 浅析自动曝光的相关问题(频闪）

因为LED并不是是随着交流电的频率变化的而是自身控制的，LED灯的频率并不固定，一般来说在90HZ~200HZ，不同的LED灯有不同的频率，我们知道第M行的积分面积与第N行的积分面积是相同的，因为积分时间刚好是周期的整数倍，此时不同行的亮度是相同的，不会产生banding现象。如图所示，第M帧的第N行的积分面积要大于第M+1帧的第N行的积分面积（经过谷底），此时不同帧的相同行亮度也会发生表现，如图所示，此时我们会发现，这两行的亮度是一样的，因此不同帧的亮度也是相同的，即画面亮度不会出现闪烁跳变；

原创 OpenCV显示10bit Raw数据

利用Opencv显示10bit Raw数据,并根据鼠标的移动显示对应位置的灰度值。其他bit位数的Raw数据方法类似。

转载 10 12 14bit图像存储格式

目前大多数图像和视频是采用每个像素8bit的方式存储，恰好是一个字节的长度。随着图像和视频向超高清方向发展，8bit已经不能满足对画质和色彩的需求。已经出现了每个像素用10bit、12bit、14bit的应用，由于它们无法用1个字节表示，如果使用2个字节又会浪费空间，所有需要将每个像素拆分表示。