双目视觉测量技术介绍

1 双目视觉系统测量原理

      双目视觉测量技术是计算机领域重点研究课题，其目标是从左右两相机获取的图像中计算出图像中每个像素点的视差信息，进而获取实际空间中物体的三维信息。基于视觉的测量方法往往是非接触形式的，其以速度快、精度高和无需复杂的硬件支持，只需满足性能需求的相机和软件即可获取被测目标的空间信息的突出优势而飞速发展，广泛应用于机器人、辅助驾驶/无人驾驶、工业生产和日常生活中。

      双目视觉系统的测量原理是根据人类双眼看物体存在“视差”的原理，在计算机视觉中，通过同一基线不同位置获得两幅图像可以像人类双眼一样估计物体形状、远近，即利用目标物体在两幅图像的位置不同，计算图像的视差图，然后通过相似三角形原理可获取目标的三维信息。理想双目相机成像模型如下图所示。

      其中 Ol 和 Or 是左右两个相机的位置，P 是空间中一点，P 在相机 Ol 中的成像点是Pl，在相机 Or 中的成像点是 Pr，线段 xl 和 xr 分别为 Pl 和 Pr 到相机成像面边界的距离，则点 P 在左右相机中的视差 d 为：

假设 Pl 和 Pr 两点之间的距离为 s，T 为左右两相机之间的基线距离，则由上图可知距离 s 为：

由三角形相似原理可得：

其中，f 为相机的焦距，Z 为空间点 P 到两个相机基线的距离，则解得距离 Z 为：

综上可知，对于空间中任意一点 P，都可以计算出相应的视差 d，视差 d 根据 P 点位置的不同而大小不同，即可形成视差图，由式 2-6 可知，若已知两相机之间的距离 T和相机焦距 f，即可通过视差图求得图像的深度图和世界坐标系下的三维坐标，而从二维平面的成像图像到三维世界的场景，两者之间存在着多种坐标系与映射关系。

2 双目视觉中的坐标系与转换关系

       在双目视觉成像模型中涉及多个坐标系，分别有：像素坐标系、图像坐标系、相机坐标系以及世界坐标系。在得到相机内外惨之后，通过不同坐标系之间的转换关系即可将物体从相机成像的二维平面恢复到三维空间中，得到其位置信息。

2.1  像素坐标系和图像坐标系

      像素坐标系和图像坐标系都在相机成像平面上，不一样的是两种坐标系的原点和度量单位，如下图所示。像素坐标系的原点在图像左上角，即点 Ouv，坐标单位为像素(pixel)；而图像坐标系的原点为相机中心与成像平面的交点，即成像平面的中点 O(u0,v0)，坐标单位是 mm，属于物理单位。

假设像素坐标系原点 O(u0,v0)在图像坐标系中的坐标为(u0,v0)，像素在 x 轴、y 轴上对应的物理尺寸为 dx、dy，即 1pixel=dx mm=dy mm。则像素坐标系和图像坐标系之间的转换关系如下：

转换为矩阵和向量形式，也可以表示为：

2.2 相机坐标系

      相机坐标系即以相机光心为原点所建立的坐标系，X 轴与 Y 轴分别与图像坐标系的x 轴与 y 轴平行，且方向一致，Z 轴相机的光轴，可通过右手坐标系规则确定，如下图所示：

其中直角坐标系 C0-Xc Yc Zc 为相机坐标系，Zc 轴与图像坐标系平面垂直，由于图像坐标系和相机坐标系平行，则两坐标系原点 Oxy 和 C0 之间连线即相机的焦距 f。从相机坐标系到图像坐标系，属于透视投影关系。假设相机坐标系中一点 P(Xc Yc Zc)，如下图所示。

由三角形相似原理可知：

则图像坐标系点 p(x,y)与相机坐标系点 P(Xc Yc Zc)的转换关系为：

用矩阵和向量形式也可以表示为：

2.3  世界坐标系

       世界坐标系是实际物体所在坐标系，根据物体每一像素的三维坐标点恢复物体的三维结构，物体可以在所建坐标系自由移动，没有确定的位置，通常为了简化计算，令图像左下角为世界坐标系原点，单位为 mm。从世界坐标系变换到相机坐标系属于刚体变换，如下图所示。

其中，R 表示旋转矩阵，T 表示偏移向量，则世界坐标系点 P(XW,YW,ZW)在相机坐标系中的坐标为：

进一步简化得：

因此，在不考虑畸变的情况下，空间中任意一点从世界坐标系转换到像素坐标系，需要经过如下图所示变换。

则空间中任一点 P(XW,YW,ZW)从世界坐标系转换到像素坐标系可表示为：

其中，fx 和 fy 所在的矩阵为相机内参，R 和 T 所在矩阵为相机外参，通过相机标定即可求得。