83、机器人传感器校准与映射技术解析

机器人传感器校准与映射技术解析

1. 单目相机与平面激光雷达统一时空校准

在机器人感知系统中，单目相机和平面激光雷达的校准是一个关键问题。传统的校准方法往往存在一些局限性，例如依赖重叠的传感器视野、已知的结构或校准对象等。而一种基于复合激光雷达点云熵最小化的统一时空校准算法，为解决这些问题提供了新的思路。

该算法的校准过程允许在任意环境中估计相机和激光雷达之间的时间和空间偏移，无需现有方法所施加的约束。具体来说，它不依赖于传感器视野的重叠，也不需要场景中任何已知的结构或校准对象。实验结果显示，校准的精度达到了1.3 cm和0.4°。

不过，由于校准对时间误差较为敏感，一种潜在的改进方法是转向连续时间轨迹表示，即每个激光雷达点都有特定且唯一的时间戳。但在RQE框架内实现这一点，同时保持计算的可处理性，目前还不太明确。

此外，在这个框架内，同时校准空间和时间变换非常重要。虽然传感器数据流之间的相对时间延迟与传感器之间的空间变换没有关联，并且可能可以通过其他方式确定，但基于RQE的成本函数的最小值只有在空间和时间校准参数接近或等于其真实值时才能找到。

2. 手眼校准与相机间校准的新方法

在机器人感知中，相机是最常用的传感器，因此准确计算相机坐标系与机器人或末端执行器坐标系之间的变换，以及相机之间的成对变换至关重要。前者通常称为手眼校准，后者称为相机间校准。

传统的校准方法在某些情况下可能会失败，例如当机器人的运动学信息不准确，或者相机视野没有足够重叠且没有外部跟踪系统时。为了解决这些问题，一种新的校准方法应运而生。

这种方法通过让机器人进行旋转运动，并通过跟踪基准标记或环境中的其他静态部分来估计旋转轴。如果相机随机器人移动，则跟踪环境中的标记；否则，使用静态相机跟踪机器人本身或其上的标记。

该方法在两个方面对之前的工作进行了扩展：
- 扩大相机视野 ：针对相机开口角度较小且无重叠导致结果不稳定的问题，通过构建周围标记之间的相对变换地图，虚拟地增加了相机的视野。
- 实现相机间校准 ：通过使用这个地图，不仅可以进行手眼校准，还能提供准确的相机间校准。

3. 技术实现细节

3.1 映射过程

当相机图像中看到多个标记时，可以利用这些额外信息。构建一个连接标记的图，每个节点代表一个看到的标记，每条边代表相对变换的向量。

通过对这个连接图中的多次检测进行平均，可以得到标记之间相对变换的最优解。为了实现这一点，需要为图的每条边计算一个权重/质量值：
- 旋转部分 ：使用Bingham分布拟合该标记对的所有相对旋转，Bingham分布的集中项描述了分布的扩散程度，可作为旋转的质量项。
- 平移部分 ：进行主成分分析（PCA），PCA的特征值描述了平移分布的质量。
- 综合质量值 ：使用SRT距离将平移和旋转质量值结合起来。
- 最优路径 ：使用Dijkstra算法找到所有标记到一个选定父标记的“最佳”连接。

以下是映射过程的mermaid流程图：

graph LR
    A[看到多个标记] --> B[构建连接标记的图]
    B --> C[计算边的权重/质量值]
    C --> D[拟合Bingham分布（旋转部分）]
    C --> E[进行PCA（平移部分）]
    D --> F[结合平移和旋转质量值（SRT距离）]
    E --> F
    F --> G[使用Dijkstra算法找到最优路径]

3.2 校准过程

通过获得标记之间的相对变换，就可以得到环境的地图。将所有标记转换到一个公共坐标系中，用于校准。

校准过程如下：
1. 让机器人绕一个轴旋转，跟踪所有可见标记。
2. 使用Bingham分布（用于方向）和一组同心圆（用于质心）拟合检测结果，得到旋转轴。
3. 让机器人绕另一个连续轴倾斜，并重复相同的旋转，再次跟踪标记。
4. 找到多个倾斜的旋转轴后，估计这些轴的交点，从而估计所有相机相对于彼此和机器人框架的变换。

4. 实验验证

进行了两个实验：
- 人形机器人的手眼和相机间校准 ：目标是校准人形机器人Rollin’Justin。由于该机器人的关节具有柔性，没有可靠的正向运动学信息，且相机视野几乎没有重叠，传统校准方法具有挑战性。
- 首先，通过移动机器人并从多个角度跟踪标记，构建周围标记的地图。
- 然后，在机器人旋转时，跟踪AprilTags并将其转换到公共坐标系中。
- 最后，估计旋转轴和轴的交点，以估计相机之间和相机与机器人框架之间的变换。
- 移动平台机械臂的手眼校准 ：在这个实验中，将主April Tag替换为外部坐标系，记录所需坐标系与每个April Tag检测的对应姿态，并将其视为主标记。
- 机械臂处于不同的关节配置，并绕其z轴逐步旋转TCP。
- 记录立体相机拍摄的图像和正向运动学获得的TCP姿态。
- 将收集的数据按关节配置分为五组，采用5折交叉验证的方式进行标记图建模和评估。

5. 实验结果

5.1 标记变换质量评估

通过测量配备多个AprilTags的测试对象，记录地面真值。映射结果与地面真值的差异显示，平移误差为0.44 mm ± 0.36 mm，旋转误差为0.65° ± 0.34°（基于15帧中的成对标签检测的均值 ± 标准差）。

将获得的地图应用于跟踪的标记，将其转换到公共坐标系中，可以看到视野得到了虚拟扩展，有利于更好地拟合圆。

5.2 旋转轴估计稳定性

基于转换后的标记估计旋转轴，能够获得稳定的估计结果。通过比较两个不同相机看到的旋转轴，可以发现它们描述的是相同的旋转，并且重叠时完全匹配。

5.3 校准评估

通过多个方面评估找到的旋转轴的质量：
- 估计每个找到的轴对的线间距离（d）和两个旋转轴之间的估计角度（α）。
- 计算估计旋转轴交点所跨越的三角形面积，该面积可以估计三个轴的相交程度。

以下是不同情况下的评估结果表格：

情况	方向组合	d(mm)	α(°)	A(m²)
无标记建模	Orientation1–3	10.09	8.07	0.0050
无标记建模	Orientation1–2	9.54	4.40	-
无标记建模	Orientation2–3	2.89	3.67	-
有标记建模	Orientation1–3	2.08	8.00	0.0008
有标记建模	Orientation1–2	0.47	4.13	-
有标记建模	Orientation2–3	3.17	3.83	-

与传统校准方法相比，没有标记建模时，结果产生相对较大的旋转和平移误差，左右相机对甚至根本无法校准。而标记建模后，线间距离和三角形面积都显著减小，校准精度得到了明显提高。

综上所述，新的校准方法在解决传统校准方法的局限性方面表现出色，通过构建标记地图和改进校准过程，提高了校准的准确性和稳定性。未来，还可以进一步研究如何在连续时间轨迹表示下进行校准，以及将该方法应用于更多的传感器对。

机器人传感器校准与映射技术解析（续）

6. 不同实验情况对比分析

为了更清晰地展示新校准方法的优势，我们进一步详细对比不同实验情况。

在人形机器人的手眼和相机间校准实验中，传统方法由于机器人关节的柔性导致正向运动学不可靠，以及相机视野几乎无重叠，使得校准变得异常困难。而新方法通过构建标记地图，有效地解决了这些问题。在构建地图时，从多个角度跟踪标记，使得即使相机视野有限，也能获取足够的信息。

在移动平台机械臂的手眼校准实验中，将主April Tag替换为外部坐标系的操作，为视觉基于的机器人控制提供了关键支持。通过记录所需坐标系与每个April Tag检测的对应姿态，将其视为主标记，能够更准确地估计TCP的姿态。

下面是两种实验在不同校准方式下的对比表格：
| 实验类型 | 校准方式 | 校准难度 | 校准效果 |
| — | — | — | — |
| 人形机器人校准 | 传统方法 | 高，关节柔性和视野问题 | 差，旋转和平移误差大 |
| 人形机器人校准 | 新方法 | 低，构建标记地图解决问题 | 好，误差显著减小 |
| 移动平台机械臂校准 | 传统方法 | 一般 | 一般 |
| 移动平台机械臂校准 | 新方法 | 低，替换主标记 | 好，能准确估计TCP姿态 |

7. 技术优势总结

新的校准方法具有多方面的优势，具体如下：
- 不依赖特定条件 ：无需传感器视野重叠，也不需要场景中有已知的结构或校准对象，适用于各种复杂环境。
- 扩大视野 ：通过构建标记地图，虚拟地增加了相机的视野，解决了相机开口角度小且无重叠导致的不稳定问题。
- 提高校准精度 ：无论是手眼校准还是相机间校准，都能显著降低旋转和平移误差，提高校准的准确性。
- 适用性广 ：不仅适用于人形机器人和移动平台机械臂，还可以推广到其他类型的机器人和传感器组合。

8. 潜在应用场景

这种新的校准方法在多个领域具有潜在的应用价值：
- 工业自动化 ：在工业生产线上，机器人需要准确地进行操作，如抓取、装配等。新的校准方法可以确保机器人的视觉系统和机械臂之间的精确校准，提高生产效率和产品质量。
- 服务机器人 ：服务机器人需要在复杂的环境中进行导航和交互。通过准确的传感器校准，机器人能够更准确地感知周围环境，提供更好的服务。
- 智能交通 ：在自动驾驶汽车和无人机等领域，传感器的校准对于安全和准确的导航至关重要。新方法可以提高传感器的校准精度，增强系统的可靠性。

9. 未来发展方向

虽然新的校准方法已经取得了显著的成果，但仍有一些方面值得进一步研究和改进：
- 连续时间轨迹表示 ：目前在RQE框架内实现连续时间轨迹表示还存在困难，但这是提高校准精度的一个潜在方向。可以研究如何在保持计算可处理性的前提下，实现每个激光雷达点都有特定且唯一的时间戳。
- 更多传感器对应用 ：可以探索将该方法应用于更多的传感器对，如惯性测量单元和3D激光雷达等，进一步扩大其应用范围。
- 算法优化 ：不断优化映射和校准算法，提高计算效率和校准的稳定性。

以下是未来发展方向的mermaid流程图：

graph LR
    A[连续时间轨迹表示研究] --> B[提高校准精度]
    C[更多传感器对应用探索] --> D[扩大应用范围]
    E[算法优化] --> F[提高计算效率和稳定性]

10. 总结

新的机器人传感器校准与映射技术通过创新的方法，解决了传统校准方法的局限性。通过构建标记地图和改进校准过程，提高了校准的准确性和稳定性。在不同的实验中，都展现出了明显的优势。未来，随着技术的不断发展和研究的深入，该方法有望在更多领域得到广泛应用，并为机器人技术的发展提供有力支持。无论是工业自动化、服务机器人还是智能交通等领域，都将从这种高精度的传感器校准技术中受益。