Radar能摆脱不同天气对SLAM的限制吗？-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『SLAM』技术交流群

论文作者 | 3D视觉之心

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

今天介绍一篇早期的基于毫米波雷达的SLAM系统，提出一种室外环境大尺度带回环的定位建图方法，主要贡献为：

利用radar的几何和图表达，进行有效可靠的特征匹配和tacking
基于radar image生成概率点云，极大减少了斑点噪声
基于图优化能够处理不同天气情况的完整SLAM系统
证明了大雾和大雪极端天气的运行稳定性

（在oxford数据集上的建图效果）

首先简单介绍了radar传感器的噪声和几何

噪声主要有测距误差、方位角误差、false-positive and false-negative detection。比较麻烦的是false-positive，包括杂波、旁瓣、多路经反射（引起前后帧不一致）和接收器饱和（对表面发射率和反射器姿态非常敏感）
几何特点与lidar相似，论文的radar和oxford数据集一样是装在车顶360度的radar，但不可测速度，通过方位角和距离可以把raw polar scan转换成灰度图

1. System

主要是前端会有所不同，后端与ORB类似

1.1 pose tracking

输入是radar gray image，利用SURF进行frame-to-key frame提取特征点
描述子匹配特征
- 利用运动先验的最大速度可以限制匹配搜索半径（不用全图搜索）
- 成对一致性约束：匹配对应有相似运动趋势

具体做法是：

提取特征点，并且利用搜索半径约束得到initial matches
对于任意两个点对，都应该满足成对一致性，实际就是点对的长度应该差不多长
其中表示当前帧和关键帧，是某2个match
建立一个矩阵G，记录所有matches两两之间的关系，满足上式为1，否则为0
寻找matches相互一致的最大内在集合问题转化为由矩阵G表示的图的max inlier set
利用matches的inlier set通过SVD计算当前帧和当前关键帧的相对pose，但是只是作为初值
再将所有match中的当前帧的点，重投影到世界系下，refine相对pose
和ORB类似，根据最小match数量、当前帧和当前关键帧的旋转平移，决定是否插入新的关键帧

1.2 local mapping

一旦有新的关键帧，就把其关键点转化到世界系下生成map points
附近key frames能够观测到这些新的map points的关键帧及其他们的map points参与到local BA，优化key frames的pose和map points
是优化变量关键帧pose和map points，cost function是对于每个key frame，把能投影在该图像上的map points全重投影上去，和观测做重投影误差
如果新的map points没被超过2帧看到，则剔除最新的关键帧

1.3 loop closure detection

没用BoW的原因：

radar image不像普通图片特征丰富和明显
多路经效应会给描述子带来歧义性
radar的一个小旋转都会产生巨大的场景变化，极大改变了描述子直方图的分布

回环检测方法：

通过算法将radar image转成点云，如果只是在每个方位角上直接找局部最大值，选出的点是随机分布，严重收到斑点噪声影响，但是将每个方位角的peak建模成高斯分布可以有效保留环境结构并抑制多路经和噪声影响
选择超出一个标准差且大于均值的peak可以分开真实检测和false-positive，具体点云转化算法：
- 对于每个方位角，通过阈值最小峰值和最小距离阈值检测很多peak，这其中会包含很多噪声(false-positive)
- 计算每个方位角上，所有检测到的peak的均值和标准差
- 只要满足大于高斯分布均值和标准差，就转成点云
采用点云的M2DP做描述子（利用点云在不同平面上的密度和左右奇异向量）

1.4 pose graph optimization

如果有回环检测到，会先利用RANSAC和ICP匹配检测帧和当前帧，如果ICP收敛，则加入回环约束
所有的关键帧一起图优化，在成功优化pose之后，更新全局地图的map points（所以图优化只优化pose？）

2. Experiments

2.1 Quantitative Evaluation

在oxford数据集上跑了5组，本文的radar slam相比只用radar odometry要准很多
最后4行是基于radar的方法，另外2个方法只有平均平移和旋转
基于视觉和Lidar的方法根本跑不完整个数据集，精度也没法看

2.2 Qualitative Evaluation

作者自己采集了极端雾天、雨天、雪天、夜晚5个数据，在这些情况下radar相比camera和lidar能正常工作，并且后3个数据有回环，效果很好

3. Reference

[1] http://zhuanlan.zhihu.com/p/92887546

[2] Z. Hong, Y. Petillot and S. Wang, "RadarSLAM: Radar based Large-Scale SLAM in All Weathers," 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, 2020, pp. 5164-5170, doi: 10.1109/IROS45743.2020.9341287.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）