数据处理小技巧
隔行采样
灰度二值化:
简单来说,灰度二值化的核心意义是将一幅包含丰富灰度信息的图像,转换成一张只包含纯黑和纯白两种颜色的图像,从而极大地简化图像,突出目标物体的轮廓和结构,为后续的分析和识别铺平道路。
下面我们从几个层面来深入理解它的意义:
一、什么是灰度二值化?
灰度图像:每个像素点的亮度用0-255之间的一个数值表示。0代表纯黑,255代表纯白,中间是不同深浅的灰色。
二值图像:每个像素点的值非0即255(或非0即1)。也就是说,图像中只剩下两种颜色:黑色和白色。
二值化的过程就是设定一个阈值,然后对灰度图像中的每一个像素进行判断:
如果像素的灰度值 大于 阈值,则将该点设置为白色(255)。
如果像素的灰度值 小于或等于 阈值,则将该点设置为黑色(0)。
这个过程就像用一把“阈值”的尺子去衡量图像,将复杂的灰度世界一刀切地划分为“前景”(我们感兴趣的目标,通常是白色)和“背景”(不感兴趣的部分,通常是黑色)。
二、二值化的主要意义和目的
二值化的意义主要体现在以下几个方面:
1. 数据简化与压缩
意义:将256个灰度级减少到2个,数据量被极大地简化。这大大减少了计算机需要处理的信息量,降低了存储空间和计算复杂度。
类比:就像把一幅细节丰富的素描画,变成一张只有轮廓的剪纸。剪纸虽然细节少了,但主体的形状一目了然,处理起来也快得多。
2. 目标与背景的分离
意义:这是二值化最核心的目的。在许多应用场景中,我们只关心图像中的特定物体(如文字、零件、细胞等),而不关心复杂的背景。通过选择合适的阈值,可以有效地将目标物体(前景)从背景中分离出来。
应用:
OCR(光学字符识别):将扫描的文档二值化,让文字变成黑色,纸张背景变成白色,从而让程序能清晰地识别出每一个字符的轮廓。
工业视觉检测:在生产线上,二值化可以快速地将产品(如芯片、瓶盖)从传送带背景中分离出来,以便进行尺寸测量、缺陷检测等。
3. 突出物体的形状和结构
意义:二值化后,图像信息完全由物体的轮廓和形状来体现。这非常有利于进行形态学操作(如膨胀、腐蚀、开运算、闭运算)和轮廓分析。
应用:
图像分割:是许多图像分割算法的基础步骤。
目标计数:可以计算图像中连通区域的数量,从而实现对物体(如细胞、细菌群落)的自动计数。
4. 为高级图像分析奠定基础
意义:二值图像是许多复杂计算机视觉任务的预处理步骤。在二值图像的基础上,我们可以更容易地:
计算目标的面积、周长、重心等几何特征。
进行模板匹配,在图像中寻找特定形状的物体。
提取目标的骨架,用于形状识别。
三、二值化的挑战与关键
二值化的意义虽然重大,但其效果高度依赖于阈值的选择。如果阈值选得不合适,会导致严重问题:
阈值过高:可能将本应是目标的部分误判为背景(丢失信息)。
阈值过低:可能将本应是背景的部分误判为目标(引入噪声)。
因此,如何自适应地选择最佳阈值是二值化技术的关键。常见的方法有:
全局阈值法:对整个图像使用同一个阈值(如OTSU算法-最大类间方差法,它能自动找到一个最佳阈值)。
局部/自适应阈值法:对于光照不均的图像,将图像分成小块,对每个小块分别计算阈值,效果更好。
代价计算的三个基础方法
AD代价:
AD代价计算的核心思想
AD代价的核心思想非常直接:它计算的是左右图像中两个对应像素点灰度值或颜色值差的绝对值。这个绝对值越小,说明两个像素点越相似,它们是一对匹配点的可能性就越高。
其数学公式根据图像类型有所不同:
对于灰度图像:C_ad = |I_L(p) - I_R(q)|
对于彩色图像:C_ad = (|R_L - R_R| + |G_L - G_R| + |B_L - B_R|) / 3
其中,I_L(p)和 I_R(q)分别代表左图像素点 p和右图像素点 q的灰度值。
计算步骤详解
在实际的立体匹配过程中,AD代价计算通常遵循以下步骤:
确定左图像素点:从左图中选定一个待匹配的像素点 p,其坐标为 (x, y)。
设定视差搜索范围:根据先验知识,确定一个可能的视差范围 [d_min, d_max]。视差 d可以理解为右图中对应点相对于左图点的水平偏移量。
计算候选点的代价值:对于每一个候选视差 d,在右图中找到对应的候选点 q,其横坐标为 x - d,纵坐标与 p点相同(通常假设图像已校正)。然后计算 p点和 q点的AD代价值。
构建代价空间:为左图的每一个像素点在每一个可能的视差下都计算一个代价值,最终形成一个三维的“代价空间”(DSI)。匹配的目标就是为每个左图像素找到使代价值最小的那个视差 d。
一个简单的计算实例
假设我们有两幅已校正的灰度图,左图某点 p(100, 50)的灰度值为 150。我们设定的视差搜索范围是 0到 5像素。
右图中,在相同的纵坐标 y=50下,我们从 x=100开始向左检查5个像素点,它们的灰度值如下表所示:
| 候选点 q 的横坐标 (xr) | 视差 (d) | 右图灰度值 (Ir) | AD代价 (C_ad = |150 - Ir|) |
| :------------------- | :------- | :------------- | :-------------------------------- |
| 100 | 0 | 149 | |150-149|= 1 |
| 99 | 1 | 151 | |150-151|= 1 |
| 98 | 2 | 148 | |150-148|= 2 |
| 97 | 3 | 150 | |150-150|= 0 |
| 96 | 4 | 152 | |150-152|= 2 |
| 95 | 5 | 147 | |150-147|= 3 |
在这个例子中,当视差 d=3时,AD代价值最小(为0),这意味着我们认为右图中横坐标为 97 (100-3)的像素点与左图的 p(100, 50)点最匹配。
AD代价的优缺点
优点:
计算简单高效:只涉及减法和取绝对值,计算速度非常快。
对细节敏感:由于基于单个像素点,它在纹理丰富的区域能够捕捉到细微的变化。
缺点:
对噪声和光照变化敏感:图像噪声或左右相机曝光不一致会严重影响灰度值,导致匹配错误。
在弱纹理区域效果不佳:在缺乏纹理的区域,很多像素点灰度值相近,仅凭单个像素点的信息难以找到唯一正确的匹配点。
SAD代价:
SAD(Sum of Absolute Differences,绝对差值之和)是立体视觉和图像匹配中一种基础且直观的算法,它通过计算像素块之间灰度值的绝对差之和来评估相似性。下面我们通过一个实例来具体了解它。
SAD 方法原理速览
SAD的核心思想很简单:比较两个图像块(一个来自左图,一个来自右图)中每个对应像素的灰度值差异,并将所有这些差异的绝对值加起来。得到的 SAD 值越小,说明两个图像块越相似。
其基本计算公式为:
SAD(x,y,d)=i=−w∑wj=−w∑w∣Ileft(x+i,y+j)−Iright(x−d+i,y+j)∣其中:
Ileft和 Iright分别是左图和右图的灰度图像。
(x,y)是左图中待匹配的像素点坐标。
d是候选的视差值(即假设右图中的匹配点相对于左图点在水平方向偏移了 d个像素)。
w定义了用于比较的窗口半径(窗口大小通常为 (2w+1)×(2w+1))。
SAD 工作步骤
一个完整的SAD立体匹配流程通常包括以下几步:
图像预处理:将左右视图转换为灰度图,并进行校正,使得匹配点位于同一水平线上(极线校正)。
匹配代价计算:对左图的每一个像素点,在右图同一行上给定的视差搜索范围内,计算每个候选视差 d对应的SAD值。
代价聚合(可选但常见):将单个像素的代价扩展到一个窗口内所有像素的代价和,以增强鲁棒性。上文公式本身已体现了这一步骤。
视差计算:对于左图的每个像素点,选择使得SAD值最小的那个候选视差 d作为该点的视差。
视差后处理:可能包括异常值抑制、空洞填充等操作,以优化最终的视差图。
一个简化的计算实例
假设我们有一对极线校正后的灰度图像(像素值范围0-255)。左图中我们关注坐标为 (5,5) 的像素点,其灰度值为 150。我们选择一个 3x3 的窗口(即 w=1)进行比较,设定的最大视差搜索范围为 3 像素。
左图中,以(5,5)为中心的3x3窗口像素值如下:
复制[152, 155, 148]
[149, 150, 153]
[151, 154, 147]现在,我们在右图中,在同一行(y=5)上,从 x=5 开始向左(因为视差通常导致右图中的对应点在左边)搜索,计算三个候选位置(d=0, 1, 2)的SAD值。
当候选视差 d=0时,比较右图中以(5,5)为中心的窗口:
复制右图窗口假设为: [130, 132, 128]
[129, 131, 134]
[133, 135, 127]SAD值计算:|152-130| + |155-132| + ... + |147-127| = 22+23+...+20 = 一个较大的数值,例如 195。
当候选视差 d=1时,比较右图中以(4,5)为中心的窗口:
复制右图窗口假设为: [180, 182, 178]
[179, 181, 184]
[183, 185, 177]SAD值计算:|152-180| + |155-182| + ... + |147-177| = 28+27+...+30 = 一个更大的数值,例如 250。
当候选视差 d=2时,比较右图中以(3,5)为中心的窗口:
复制右图窗口假设为: [151, 154, 149]
[148, 151, 152]
[152, 155, 146]SAD值计算:|152-151| + |155-154| + ... + |147-146| = 1+1+...+1 = 一个很小的数值,例如 9。
比较这三个SAD值(195, 250, 9),d=2时SAD值最小。因此,我们为左图点(5,5)分配的视差值为2。
SAD 方法的优缺点
优点:
计算简单:只涉及减法、取绝对值和加法,易于理解和实现。
速度快:适合对实时性要求较高的应用,甚至在硬件上容易优化。
缺点:
对噪声和光照变化敏感:图像的噪声或左右图亮度不一致会严重影响匹配精度。
在弱纹理或重复纹理区域效果差:这些区域可能产生多个相似的最小SAD值,导致匹配模糊或错误。
窗口大小选择关键:大窗口虽平滑噪声但模糊边缘细节;小窗口保留细节但对噪声更敏感。
Census代价
一、Census变换的基本原理
Census变换是一种非参数化的局部特征描述方法,它通过比较窗口内每个像素与中心像素的灰度大小,生成一个二进制编码序列。这个序列可以有效地捕捉局部纹理结构,对光照变化具有一定鲁棒性。
传统Census变换公式:
对于以像素 p为中心的窗口内的每一个像素 q,计算:
ξ(p,q)={1,0,if I(q)>I(p)otherwise将所有比较结果按顺序组成一个二进制串,再转换为十进制数,即为Census编码值。
举例说明:
假设有一个 3×3 的图像窗口,中心像素值为 98,周围像素值如下:
10210010599981019796104逐个与中心像素(98)比较大小:
102 > 98 → 1
100 > 98 → 1
105 > 98 → 1
99 > 98 → 1
98 = 98 → 0
101 > 98 → 1
97 < 98 → 0
96 < 98 → 0
104 > 98 → 1
得到的二进制序列为:111101001,转换为十进制即为Census编码值。
二、Census代价计算
Census代价是通过计算左右两幅图像中对应窗口的Census编码值的汉明距离(即不同比特的个数)来衡量的。汉明距离越小,说明两个窗口越相似。
公式:
Ccensus(p,d)=Hamming(Tleft(p),Tright(p−d))其中 T(p)表示点 p处的Census编码。
三、本文改进:多灰度阈值Census代价
传统Census变换对灰度变化非常敏感,尤其在灰度相似的区域容易产生噪声。本文提出多灰度阈值Census变换,通过设置多个灰度阈值生成多个Census编码图,再加权融合,提升在弱纹理区域的稳定性。
改进示意图:
举例说明:
假设设置两个阈值:τ1=2, τ2=5。对同一窗口,分别用以下规则生成两个Census编码:
阈值 τ1=2:
若 ∣I(q)−I(p)∣>2才进行比较,否则直接置0(视为无效比较)
阈值 τ2=5:
若 ∣I(q)−I(p)∣>5才进行比较,否则置0
分别得到两个二进制序列,再转换为两个Census值,最后加权融合。
四、再进一步:引入曼哈顿距离权重
为进一步提升性能,本文还引入了曼哈顿距离权重,对窗口中不同位置的像素赋予不同权重,越靠近中心的像素权重越高。
权重函数:
w(pm)=1+λ⋅dm1其中 dm是当前像素与中心的曼哈顿距离。
加权后的Census代价:
Cimproved(p,d)=k=1∑Kωk⋅Ccensusk(p,d)其中 K是多阈值个数,ωk是第 k 个阈值的权重。
五、效果对比
原文图12展示了传统Census代价与改进后的Census代价在重复纹理和弱纹理区域的效果对比:
可以看出,改进后的Census代价在板凳靠背(重复纹理)和布料区域(弱纹理)的匹配质量明显提升。
六、为什么有效?
多阈值机制适应不同灰度差异区域,减少噪声;
曼哈顿距离权重强化中心像素作用,抑制边缘干扰;
融合多个Census特征提升匹配鲁棒性和精度。
实验结果分析一些小技巧
GPU移植加速
GPU移植加速详解:以双目立体匹配算法为例
一、GPU移植加速的基本概念
GPU移植加速是指将原本在CPU上运行的算法代码重新设计和优化,使其能够在图形处理器(GPU)上高效运行,从而大幅提升计算性能的技术过程。这不仅仅是简单的代码移植,而是需要深入理解算法特性和GPU架构特点的深度优化。
二、为什么需要GPU加速?
1. 硬件架构差异
CPU:少量高性能核心,擅长复杂逻辑控制和串行计算
GPU:数千个简单核心,专为大规模并行计算设计
2. 性能对比
本文中的双目立体匹配算法包含大量像素级并行操作,正是GPU擅长的计算类型。如表5所示,GPU加速后性能提升显著:
三、GPU移植的具体步骤
1. 算法并行性分析
首先需要分析算法的哪些部分可以并行化。在本文算法中:
像素级代价计算(SAD、Census变换)
窗口滤波操作
视差搜索空间遍历
这些操作都具有数据并行性,每个像素的处理相互独立。
与不同算法进行比较
5532



被折叠的 条评论
为什么被折叠?



