地平线双目深度估计参考算法 StereoNetPlus 优化思路解读

【参考算法】地平线双目深度估计参考算法 StereoNetPlus-v1.2.1

1.引言

本文将介绍地平线基于公版的双目深度估计算法 StereoNet 做的优化设计。首先介绍了双目深度估计的原理以及双目点云和 Lidar 点云的对比，然后由公版 StereoNet 的介绍切入到地平线参考算法的针对性优化，最后对可视化结果进行了解读。

2.双目深度估计原理

2.1 基本假设

假设双目系统是标准形式，即：

• 两相机内参数相同，即焦距、分辨率等参数一致；
• 两相机光轴平行；
• 成像平面处于同一水平线；

假设以左相机坐标系为主坐标系，也就是说两相机只存在 X 轴方向上的平移变换。

2.2 几何法

• P 是待测物体上的某一点，
• O_R 与 O_T 分别是两个相机的光心，
• p、p’：点 P 在两个相机感光器上的成像点，相机的成像平面经过旋转后放在了镜头前方
• f 为相机焦距，B 为两相机中心距，Z 为我们想求得的深度信息。

公式中，焦距 f 和摄像头中心距 B 可通过标定得到，因此，只要获得了视差 d=X_R−X_T，就可以计算出深度 Z。

视差是同一个场景在两个相机下成像的像素的位置偏差。

2.3 相机参数推导法

由基本假设可以可知，左右相机内参相等，且左右相机只存在 X 轴方向的平移运动。那么有：

相机模型和各种坐标系介绍：https://blog.youkuaiyun.com/qq_40918859/article/details/122271381

77.png)

2.4 双目点云和激光雷达点云的比较

参考链接：https://www.zhihu.com/question/264726552

• 感知距离

双目模型在近处比较有优势（几十米），在远处的时候类似于单目，而 Lidar 感知距离可以达到 200m+（210-250）。

• 点云****密度

双目的点云比 Lidar 要稠密。双目模型估计出的深度是像素级别的，camera 分辨率越大，点云就越稠密。而 Lidar 的采样点覆盖相对于场景的尺度来讲，具有很强的稀疏性。

• 精度

Lidar 是主动方法，双目是被动方法，而且双目是根据模型估计视差计算出的深度，存在一定的标定、安装误差以及深度失真问题，所以其输出的深度信息的精度是不及 Lidar 的，但是需要注意的是 Lidar 受天气影响更大。