一对图像也能标，同济开源最新双目在线标定（ICRA'24）-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『BEV感知』技术交流群

论文作者 | Hongbo Zhao

编辑 | 3D视觉之心

双目标定的“难处”

双目相机外参标定通常以离线方式进行，使用众所周知的棋盘格靶标。其微小误差可能会导致不小的视差误差，这可能会带来严重后果，例如自动驾驶和移动机器人导航，错误计算与附近障碍物的距离可能导致碰撞。

现有的大部分研究将双目在线标定视为视觉里程计的一种特殊形式，在这种形式中，通过对本质矩阵进行分解获得每个立体图像对的和。随后，使用后端优化技术，例如光束法平差（BA）和卡尔曼滤波（KF），推导出和

与直接估计和不同，也有方法提出使用两个独立的旋转矩阵和分别旋转左右摄像机坐标系。

上述研究主要：

在单对情况下估计和
使用三个欧拉角和三个平移向量分量来量化性能是不实用的

StereoCalibrator 基于立体校正原理设计了一种新型的双目相机在线标定方法，同时适用于单对和多对图像，还引入了4个新的评估指标来量化外参估计的鲁棒性和准确性。

（大拇指往上滑，点击最上方的卡片关注我，整个操作只会花你 1.328 秒，然后带走未来、所有、免费的干货）

也欢迎加入【3D视觉之心】全栈技术交流群

探入“深水区”

深究单应性矫正

一对对应点和，分别位于左右立体图像中，可以通过它们已知的内参矩阵和来关联它们的相机坐标和，如下所示：

立体校正过程将左右图像平面重新投影到与立体相机基线平行的共同平面上，可以表示如下：

由于非校准立体几何中固有的尺度模糊性，将式（1）中的视为单位向量，并得到以下表达式：

联立式(5)(6)(1)：

根据立体校正的原理，我们得到的表达式：

因此，传统立体相机标定问题，涉及到估计和，可以被重新定义为一个关于估计和R_r的新问题。由于一对经过良好校正的立体图像符合条件v'_l = v'_r$，可以推导出以下约束条件（即目标函数）：

单对图像的目标函数

根据式(8)和(9)中引入的立体校正约束，我们定义了一个个元素的向量

和分别表示与和对应的旋转向量。到表示和之间的残差。因此可以将立体相机自标定的能量函数表述如下：

最小化(12)可以得到最优的和。为此，我们将的一阶泰勒展开表述如下:

δθ 可以用 LM 优化：

是分配给第对对应关系的权重，而表示预定义的 Huber范数阈值。

然后通过以下方式更新和：

当被认为不够小时，，，和的更新过程终止。双目相机的外参和可以通过将和替换到式（7）中来获得。

多对数据如何全局优化

在获取每对立体图像的外参参数和后，其中上标表示第对立体图像，就可以推导出立体相机的全局最优外参参数和。鉴于已经被归一化，它们可以投影到一个有限区域内的球面上。类似的分布也可以观察到旋转轴，它们可以使用罗德里格斯旋转公式计算如下:

其中是旋转角度。因此，最优平移向量和旋转轴可以通过在球面上找到投影分布最密集的位置来确定。这可以通过以下全局优化过程使用组外参参数和来实现:

其中，是使用所有旋转角度的中心倾向度量确定的，表示全局最优旋转向量。

“大获全胜”

评价指标

方法[3]利用从旋转矩阵计算得到的三个欧拉角的均值和标准差，以及平移向量中的三个分量作为性能评估指标进行量化。然而，由于各个分量之间与其他两个分量存在相互依赖关系，这些评估指标并不实用。

因此提出以下四个新的评估指标，以全面评估单对和多对情况下外参数估计的稳健性和准确性。

表示估计和地面实况之间的全局最优平移向量之间的角度误差：

表示估计和地面实况之间的全局最优旋转向量之间的距离

表示估计（使用单个立体对）和地面实况之间的全局最优平移向量之间角度误差的标准差

表示估计（使用单个立体对）和地面实况之间的全局最优旋转向量之间距离的标准差

横向对比

实验配置如图，以下和方法[3]进行了方法对比

总结一下

首先，StereoCalibrator 提出了两个重要的算法贡献：

基于立体校正原理构建的用于单一对情况的立体相机在线自校准算法
一种有效且高效的算法，用于在多个立体图像对可用时全局优化外参

其次，引入了四个新的评估指标，用于量化外参估计的鲁棒性和准确性，适用于单一对和多对情况。

参考

[1] Dive Deeper into Rectifying Homography for Stereo Camera Online Self-Calibration

[2] https://mias.group/StereoCalibrator/

[3] High-precisiononlinemarkerlessstereoextrinsic calibration

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频