Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping ,2019

Laboratory for In-formation & Decision Systems (LIDS), Massachusetts Institute of Technology, Cambridge

Kimera was partially funded by the DCISTCollaborative Research Alliance,MIT Lincoln Laboratory

代码地址:https://github.com/MIT-SPARK/Kimera

ＲＧＢ, 双目

论文总结和摘要:

Kimera是一个开源的C++实时语义SLAM系统，提供了:

1. 视觉惯性状态估计（VIO模块）

2. 全局一致的相机轨迹估计（姿态图优化器，PGO）

3. 用于快速避障的低延时的局部网格地图（轻量级的３D网格重建模块）

4. 全局语义标注的3D网格地图（稠密的３D语义重建模块）

作者在设计之初使用模块化的思想来设计的SLAM系统，因此Kimera可以单独分解为VIO系统或者完整的SLAM系统.

首先解释下Metric-semantic understanding的概念: 在估计场景的三维几何的同时预测目标和场景结构的语义标签.Kimera 集成了VIO，网格重建、语义理解等多个功能，适用于Metric-semantic understanding的任务

此外,Kimera以RGB 作为输入,运行在CPU上,因此其部署难度相对较小.

论文方法介绍:

Kimera提供了:

1. 精确的状态估计(at IMU rate)
2. 全局轨迹估计
3. 多个环境mesh图(轻量局部mesh以及全局语义mesh)

Kimera使用多线程实现(4线程):

• 线程1: 运行Kimera-VIO前端, 输入Stereo图像和IMU数据, 输出跟踪特征和预集成的IMU测量值,以及IMU的状态估计.
• 线程2: 运行Kimera-VIO后端和Kimera-mesher, 分别输出优化后的状态估计, 以及低延迟的单帧和多帧的mesh图.
• 线程3: 运行Kimera-RPGO, 负责进行闭环检测, 去除噪声离群值, 预测全局一致的轨迹.如图2(a)
• 线程4: 运行Kimera-Semantics, 输入为稠密