今天回顾了双目立体视觉三维重建的过程,终于有了从相机标定到三位点云建立的全流程的知识框架,细节还等着我去了解和学习
图像获取与相机标定
三维重建的第一步是使用一台经过精密校准的双目相机同时拍摄同一场景的两张图像。相机标定是至关重要的一步,其目的是精确测量相机的内部参数(如焦距、主点坐标、畸变系数)和两个相机之间的相对位置与姿态(旋转矩阵和平移向量)
这些参数构成了后续所有几何计算的数学基础,标定的精度直接决定最终三维模型的准确性
图像预处理与校正
获取原始图像后,通常需要进行预处理,如去噪、对比度增强等,以提升图像质量
紧接着是立体校正,这是一个关键的几何变换过程。它的目标是消除因为两个相机物理位置不同而导致的垂直方向上的偏移,确保同一三维点在两幅图像中的投影位于同一水平线上。这一步极大地简化了后续寻找对应点的任务,将搜索范围从二维图像压缩到一维水平线
立体匹配
立体匹配是双目视觉的核心和难点,其任务是为左图中的每一个像素点在右图上找到对应的匹配点。左右图像中对应点横坐标的差值称为视差
匹配算法主要分为两类:
局部匹配法:例如块匹配(BM),它通过计算一个小窗口内的像素相似度(如SAD、SSD)来寻找匹配点,速度快但在弱纹理或重复纹理区域效果不佳
全局/半全局匹配法:例如半全局匹配(SGBM),它通过构建并优化一个全局能量函数来得到视差图,精度更高,但计算量也更大
匹配后得到的灰度图就是视差图,图中每个像素的灰度值代表了该点的视差大小
三维点云生成
得到视差图后,即可根据三角测量原理,利用之前标定得到的参数(特别是基线距离 B和焦距 f),将每个像素的视差 d转换为三维坐标 (X,Y,Z)
通过公式计算出的所有三维点的集合,就构成了描述物体表面形态的三维点云
另外还解决了一些细节的疑惑
一、在双目立体视觉中世界坐标系的位置一般放在哪里
在双目立体视觉系统中,世界坐标系原点的设置并非固定不变,而是可以根据应用需求和计算便利性进行选择。下面这个表格汇总了常见的设置位置及其特点。
|
世界坐标系原点位置 |
主要特点 / 适用场景 |
|---|---|
|
左相机光心 |
简化计算,常见于将左视图作为主参考的系统中 。 |
|
右相机光心 |
原理同左相机光心,取决于系统设计时的主参考相机选择 。 |
|
左右相机光心连线的中点 |
使坐标系关于双相机系统对称,可能使三维坐标值的表示更均衡 。 |
|
场景中的特定点(如大地坐标系) |
适用于需要绝对位置信息的应用,如航空测量、大地测绘 。 |
|
第一个有效扫描帧的左相机光心 |
常见于手持式三维扫描等序列图像处理中,将首个有效位置作为全局参考 |
二、如果世界坐标系在左相机光心,那么当完成立体匹配得到视差之后,三维点的三个坐标分别是怎么通过计算得到的

这个流程中的关键公式如下:
-
计算深度(Z坐标)
这是最核心的公式,直接决定了距离的远近:
Z=df⋅B
其中:
-
f是相机的焦距(通常以像素为单位)。
-
B是左右相机光心之间的距离,即基线长度。
-
d是视差(disparity),即同一个三维点在左右两个图像中水平坐标的差值(d=uL−uR)。
-
-
计算X和Y坐标
在得到深度Z后,利用左相机的针孔模型反推三维点的X和Y坐标:
X=fxZ⋅(uL−cx)
Y=fyZ⋅(vL−cy)
其中:
-
(uL,vL)是该点在左图像中的像素坐标。
-
(cx,cy)是左相机的主点坐标(光学中心)。
-
fx,fy是左相机在x和y方向上的焦距。
-
推导逻辑:由于世界坐标系就在左相机光心,所以通过左相机成像模型计算出的相机坐标系坐标,直接就是世界坐标系坐标。公式中的 (uL−cx)/fx和 (vL−cy)/fy本质上是视线方向向量,乘以深度Z后,就得到了点的具体空间位置。
⚙️ 计算所需的参数获取
这些计算依赖于一系列通过相机标定得到的参数
|
参数类型 |
包含的关键参数 |
如何获取 |
|---|---|---|
|
相机内参 |
焦距 fx,fy,主点 cx,cy |
通过单相机标定获得,描述相机自身的成像几何。 |
|
立体外参 |
旋转矩阵 R和平移向量 T |
通过双目标定获得,描述右相机相对于左相机的位置和姿态。其中平移向量 T的范数(模长)即为基线长度 B 。 |
|
视差图 |
每个像素的视差值 d |
通过立体匹配算法(如SGBM、BM等)对校正后的左右图像进行计算得到。 |
三、为什么在实际世界中像素平面在摄像机光心的后方,而在研究中我们都把光心放在像素平面前方

1. 物理现实:像素平面在光心后方
这是相机实际工作的方式。
-
原理:光线从物体表面(点P)出发,穿过镜头的光心(O),然后打在位于相机内部的传感器(像素平面)上,形成一个倒立的实像。
-
特点:这是一个真实的物理成像过程。像点
p_physical位于光心的后方。
2. 研究模型:像素平面在光心前方
这是为了分析方便而建立的数学模型,也称为“虚拟图像平面”模型。
-
原理:我们将成像平面“对称地”移动到光心的前方,并且到光心的距离同样是焦距
f。同时,我们将三维点P与光心O连线,并向前延长,与这个虚拟平面相交于p_virtual。 -
特点:这是一个数学抽象。此时形成的图像是正立的虚像,与我们直观观察到的场景方向一致。
🔑 为什么研究中都使用虚拟模型?
关键在于上图揭示的结论:两种模型下,通过相似三角形推导出的最终公式是完全一致的。
物理模型推导(像素平面在后):
根据相似三角形,有:
ZX=f−(u−cx)
这里会出现一个负号,因为物理上成的是倒像。
等效模型推导(像素平面在前):
根据相似三角形,有:
ZX=f(u−cx)
负号消失了,因为图像是正立的。
四、灰度重心法是什么及具体步骤
灰度重心法是一种在图像处理中用于精确定位目标区域中心的技术。下面这个表格能帮你快速了解它的核心要素:
|
特征维度 |
具体说明 |
|---|---|
|
核心思想 |
将图像的像素灰度值视为物理中的“质量”,通过计算这些带权重的像素的平均位置来确定目标的“重心”或“质心” |
|
主要应用场景 |
激光条纹或光斑的中心线提取 、光斑坐标定位、目标跟踪与特征点方向描述 |
|
关键公式 (二维图像) |
对于一幅 M×N 的图像,重心坐标 (Xc, Yc) 计算公式为: |
|
主要优点 |
算法原理简单,计算速度快,能满足实时性要求 ;充分考虑了灰度分布,对亮度不均匀的目标也能获得较高精度的中心位置 |
|
局限性 |
精度受图像噪声干扰影响较大 ;如果目标与背景对比度低,阈值选取不当会影响结果准确性 |
具体步骤
场景设定
假设我们有一个来自摄像头的微小图像区域(例如一个光斑),其灰度图像数据如下。像素坐标 (i, j) 以左上角为原点 (1,1),i 表示行号,j 表示列号。I(i, j)表示该像素点的灰度值,数值越大代表越亮。
我们得到以下 3x3 的像素矩阵:
|
像素坐标 (i, j) |
灰度值 I(i, j) |
|---|---|
|
(1,1) |
10 |
|
(1,2) |
20 |
|
(1,3) |
10 |
|
(2,1) |
20 |
|
(2,2) |
80 (最亮的中心) |
|
(2,3) |
20 |
|
(3,1) |
10 |
|
(3,2) |
20 |
|
(3,3) |
10 |
目标:计算这个光斑区域的灰度重心坐标 (Xc, Yc)。
计算步骤
我们将使用灰度重心法的核心公式:
Xc=∑i=1M∑j=1NI(i,j)∑i=1M∑j=1Ni⋅I(i,j)
Yc=∑i=1M∑j=1NI(i,j)∑i=1M∑j=1Nj⋅I(i,j)
其中,M=3, N=3。
第一步:计算“总质量”(灰度值总和)
这是公式中的分母,即所有像素灰度值之和:
S=i=1∑3j=1∑3I(i,j)=10+20+10+20+80+20+10+20+10
S=200
第二步:计算 X 方向的重心坐标 (Xc)
Xc 是 行号 i 的加权平均,权重是灰度值 I(i,j)。
我们需要计算 每个像素的 (行号 × 灰度值),然后求和。
-
第1行: 1×10+1×20+1×10=1×(10+20+10)=1×40=40
-
第2行: 2×20+2×80+2×20=2×(20+80+20)=2×120=240
-
第3行: 3×10+3×20+3×10=3×(10+20+10)=3×40=120
将三行的结果相加:
i=1∑3j=1∑3i⋅I(i,j)=40+240+120=400
现在代入公式计算 Xc:
Xc=200400=2.0
第三步:计算 Y 方向的重心坐标 (Yc)
Yc 是 列号 j 的加权平均,权重是灰度值 I(i,j)。
我们需要计算 每个像素的 (列号 × 灰度值),然后求和。
-
第1列: 1×10+1×20+1×10=1×(10+20+10)=1×40=40
-
第2列: 2×20+2×80+2×20=2×(20+80+20)=2×120=240
-
第3列: 3×10+3×20+3×10=3×(10+20+10)=3×40=120
将三列的结果相加:
i=1∑3j=1∑3j⋅I(i,j)=40+240+120=400
现在代入公式计算 Yc:
Yc=200400=2.0
最终结果
这个光斑区域的灰度重心坐标为:
(Xc,Yc)=(2.0,2.0)
结果分析
-
直观对比:如果我们简单地把图像看成9个点,其几何中心在 (2,2)。我们计算出的灰度重心也是 (2,2)。
-
原因:这个例子中的灰度分布是完全对称的。最亮的点(2,2)正好在几何中心,周围像素的灰度值也呈对称分布。因此,加权平均后的重心与几何中心重合。
-
更一般的情况:如果光斑的亮度分布不均匀(例如,光斑向左上角偏移,左上角像素更亮),那么计算出的灰度重心就会偏离几何中心,指向更亮的区域,从而实现亚像素级别的精确定位。这正是灰度重心法的价值所在——它不仅能找到目标的“中心”,还能找到其“亮度分布”的质心
881



被折叠的 条评论
为什么被折叠?



