超全汇总！多传感器离线/在线时空联合标定方法

多传感器时空联合标定综述

原创

已于 2022-09-24 11:10:02 修改 · 3.5k 阅读

34 ·

CC 4.0 BY-SA版权

文章标签：

#传感器 #算法 #大数据 #python #计算机视觉

于 2022-09-22 07:30:24 首次发布

本文综述了多传感器时空联合标定的研究进展，包括离线与在线两种模式。离线标定关注批量、连续时间、最大似然估计等方法，实现传感器间固定时间偏移与空间变换的估计。在线标定则侧重实时性，提出了基于运动相关分析等算法，实现实时的时空校准。

多源异构传感器融合在当今的自动驾驶应用场景中很常见，准确的多传感器时间和空间统一是实现多传感器融合感知和定位的先决条件。许多传感器融合方法假设不同传感器的时间戳精确对齐，这实际上只能通过严格的硬件同步来保证，但是对于大多数低成本和自建的传感器组，硬件同步是不可用的。在实践中，传感器数据的时间戳会受到不同的时钟、触发机制、传输延迟、数据堵塞、抖动、偏斜的影响，导致测量时刻和时间戳之间的存在偏移。准确的时间校准是实现有效传感器融合的首要前提。空间统一即确定传感器间的旋转和平移。其中，离线标定是目前的主流的空间标定方案，具有精度高的优点，但计算成本也高，常需要良好的初始估计来精确收敛，且通常存在设备(如标定板)/场地限制。考虑载体（如车辆）在实际运动过程可能会产生振动，传感器容易受此影响发生滑移，以及受长时间运行和温度等其他因素的影响，标定参数会逐渐变得不准确，而感知和定位算法对标定参数的准确性非常敏感，会严重降低感知定位算法的性能和可靠性，此时，无标定设备和场地限制的且能够动态修正标定参数的在线空间标定技术具有更强的灵活性和适应性。本文围绕多传感器时空联合标定主题分离线、在线两个分支整理汇总了近年来多篇优秀工作。

离线时空联合标定

Unified temporal and spatial calibration for multi-sensor systems

多传感器系统的统一时空校准

在此工作之前，许多工作选择通过两个阶段过程来完成时空标定，即首先估计时间偏移，然后求解传感器之间的空间变换。而该工作提出了一种新的框架，使用批量、连续时间、最大似然估计来确定传感器之间固定时间偏移和空间变换。

该方法遵循 Furgale 等人提出的批量连续时间状态估计的基函数方法，时变状态表示为有限数量的已知分析基函数的加权和，使得在最大似然估计的严格理论框架内处理估计时间偏移的问题，同时它将问题留在连续时间中，以便可以分析评估延迟测量方程及其雅可比行列式。

以相机和IMU为例，由 B 样条函数表示时变状态，推导了可同时确定相机和 IMU 之间的外参和时间偏移的估计器。选择将时间偏移的初始猜测设置为零。首先通过标定板粗略计算相机的位置并来猜测初始IMU 的位置。IMU 位姿被编码为六阶 B 样条，这种高阶表示将加速度编码为三次多项式。作者发现这对于在校准过程中准确捕捉传感器的动态运动是必要的。偏差由三次 B 样条表示。其中，节点数也必须反映系统动力学，需要更多的节点来实现更快的变化量。由于用于表示状态的 B 样条的阶数以及使用的节点数，在 LM 的每次迭代中必须求解的方程组可能非常大。然而，矩阵是稀疏的，主要是由于 B 样条基函数的紧凑支持。六阶 B 样条基函数在恰好六个区间上是非零的。结果是LM信息矩阵的主对角线是块六对角线，在与姿态样条相关的部分中。下图展示了 0.1 秒数据的示例矩阵。

作者通过展示来自 500 次仿真和 40 组真实校准数据集的结果来简要展示校准框架的准确性和稳定性。下图是500 次仿真试验中估计的时间偏移的误差直方图，时间偏移在 -8 毫秒和 8 毫秒之间变化。估计器返回的边际不确定性被绘制为高斯概率密度函数（红色）。结果清楚地表明，如果已知正确的噪声模型，则该方法能够估计两个设备之间的时间偏移并返回估计的合理不确定性。

最后作者进行了确定时间延迟方法的比较。结合所有可用传感器信息的联合估计可得到估计方差显著减少和最一致的结果。使用所有传感器信息的子集（仅使用陀螺仪或仅使用加速度计以及相机）会产生不太准确的估计。实验结果还表明，时间和空间校准的分离将导致估计不太准确，这表明校准可能从额外的测量中受益，而不是从不相关参数的分离中受益。

来源：FURGALE P, REHDER J, SIEGWART R. Unified temporal and spatial calibration for multi-sensor systems [C]. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE. 2013.10.1109/IROS.2013.6696514

A General Approach to Spatiotemporal Calibration in Multi-sensor Systems

多传感器系统时空标定的通用方法

该工作是上一篇文章工作的延续和扩展，提出了一种传感器之间固定时间偏移和空间变换联合估计的通用和原则性方法。尽管作者也认为联合估计不相关的量可能会损害估计结果，但仍相信，给定准确的测量模型，最大似然估计的最优性将避免上述问题。因此，作者选择将所有可用信息合并到一个统一的估计中来实现最高的时间和空间参数精度。

该方法同样采用使用基函数估计时间偏移，利用连续时间批量估计的最新进展，存在于最大似然估计的严格理论框架内，具有更高的可重复性和准确性。可将空间位移估计为毫米精度，时间偏移估计小于最快测量间隔。