双目摄像头物体测距定位基础原理

@Mr_LiuYang

已于 2025-03-07 10:23:28 修改

阅读量1.3k

点赞数 17

分类专栏：计算机视觉基础文章标签：数码相机双目摄像头双目测距双目定位摄像头测距

于 2025-02-26 16:03:58 首次发布

本文链接：https://blog.youkuaiyun.com/qq_36112576/article/details/145871177

版权

计算机视觉基础专栏收录该内容

15 篇文章

订阅专栏

前言

单目摄像头物体深度计算基础原理
传统的单目坐标转换公式为：

$\begin{pmatrix} u \\ v \\ 1 \end{pmatrix} = \frac{G}{Z} \begin{pmatrix} f_x & s & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} R_{11} & R_{12} & R_{13} & t_x \\ R_{21} & R_{22} & R_{23} & t_y \\ R_{31} & R_{32} & R_{33} & t_z \end{pmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix}$
简化后，上述单目公式为：
$影像坐标 = (畸变矩阵 G / 深度 Z ） * 相机内参矩阵 K * 相机外参矩阵 [R ∣ T] * 世界坐标$
公式表述了从世界坐标系转换到相机坐标系；从相机坐标系转换到图像平面坐标系；最后畸变校正，详细的单目测距原理见本人前博客。

双目摄像头测距原理

在这里插入图片描述

在双目摄像头系统中，两台相机共同工作，用于获取同一场景的两个视角图像。通过这两个视角的差异（视差），可以计算出场景中物体的深度信息，从而实现测距。具体来说：

假设左相机和右相机的内参矩阵为 $K_L$ 和 $K_R$ ，外参矩阵分别为 $R_L | t_L]$ 和 $R_R | t_R]$ 。

双目坐标解算方程

在双目摄像头中，假设目标点在世界坐标系为 $(X, Y, Z)$ ，根据几何关系和标定信息，忽略畸变情况下，可以得到以下方程：

左、右相机视角的投影方程
（1）左相机视角的像素坐标：
$\begin{pmatrix} u_L \\ v_L \\ 1 \end{pmatrix} = \frac{1}{Z} K_L [R_L | t_L] \begin{pmatrix} X\\ Y\\ Z \\ 1 \end{pmatrix}$
（2）右相机视角的像素坐标：
$\begin{pmatrix} u_R \\ v_R \\ 1 \end{pmatrix} = \frac{1}{Z} K_R [ R_R | t_R ]\begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix}$ 左右相机距离（基线距离 $B$ ）：左右摄像头光心的水平间距，由平移向量 $t_R-t_L$ 的模长决定。
同名点匹配、求解视差：
极线校正，通过匹配左右图像中的同名点（即在两个图像中表示同一物体的像素位置，常用角点或边缘），使图像行对齐（ $v_L = v_R$ ），此时这些点的水平视差
$d = u_L - u_R$
图像匹配辅助理解样式，见本人另一篇博客–图像匹配：基于SIFT和FLANN的双视图匹配及极线绘制代码，网址：https://blog.youkuaiyun.com/qq_36112576/article/details/145880158
视差与深度关系：
通过相似三角形的几何关系，根据三角测量原理，公式：
$\frac{B}{Z} = \frac{d}{f}$
其中：

$Z$ ：目标物体的深度，表示物体到相机的距离（单位通常为米或毫米）。
$f$ ：相机的焦距（单位为像素）。可以通过相机的内部参数（如相机的成像系统特性）获得，双目测距中通常左右相机焦距相同。
$B$ ：基线距离，表示两台相机之间的距离（单位通常为米或毫米）。这是双目视觉系统中两个相机的物理间距。
$d$ ：视差，指的是同一物体在两幅图像中对应点之间的水平偏移量（单位为像素）。

因此视差 $d$ 与物体的深度 $Z$ 之间存在反比关系：

$\frac{f \cdot B}{d}$

三维坐标解算方程：
基于视差 $d = u_L - u_R$ ，可以通过以下公式解算三维坐标：
- 深度 ( Z )：根据视差公式 $\frac{f \cdot B}{d}$ ，计算获得。
- 水平坐标 ( X )：利用相机的内参和深度信息计算：
  $\frac{(u_L - c_L^u) \cdot Z}{f_L^u}$
  其中 $c_L^u$ 是左相机主点的水平坐标， $f_L^u$ 是左相机的水平焦距。(结合最上面单目坐标公式内参矩阵理解)
- 垂直坐标 ( Y )：类似地，计算垂直坐标：
  $\frac{(v_L - c_L^v) \cdot Z}{f_L^v}$
  其中 $c_L^v$ 是左相机主点的垂直坐标， $f_L^v$ 是左相机的垂直焦距。