SLAM与AI的强强联合

本文默认大家已经熟知SLAM、导航、常见AI算法（比如深度学习、强化学习、卷积神经网络、监督学习）等基本概念，不熟的小伙伴可以从我已经出版的书籍《机器人SLAM导航核心技术与实战》中进行系统性的学习。

AI与SLAM的结合大致分为3个思路：

• 思路1：用AI实现SLAM的所有功能
• 思路2：用AI改进SLAM的部分功能
• 思路3：介于思路1和思路2之间

第1种思路就是简单粗暴地用AI直接实现SLAM，也就是所谓的端到端方法（End-to-End），下面即将介绍的UnDeepVO和NeuralRecon就是典型代表。第2中思路是用AI改进SLAM中的个别功能模块，比如基于AI方法的特征匹配、重定位、深度估计、语义理解等，比如CNN-SLAM就是典型代表。当然更多的是介于思路1和思路2之间的方法，所以很多算法其实很难对其进行分类。为了方便讨论，下面仅从解决具体问题的角度介绍一些比较有代表性的AI+SLAM方法，包括：端到端视觉里程计、端到端建图、端到端定位导航、特征匹配、重定位、深度估计、语义理解、语义SLAM。

一、端到端视觉里程计

1.基于无监督深度学习的单目视觉里程计：

关键词：单目相机实时位姿估计、单目图像深度信息重建

论文：UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning

源码：-

年份：2018

2.基于自监督学习的运动估计：

关键词：自监督学习、位姿估计、深度重建

论文：Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation

源码：https://github.com/hlzz/DeepMatchVO

年份：2019

二、端到端建图

1.单目相机实时连续三维建图：

关键词：单目相机、神经网络、TSDF、三维建图

论文：NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

源码：https://github.com/zju3dv/NeuralRecon

年份：2021

2.半监督单目稠密重建：

关键词：半监督、稠密重建、单目

论文：MonoRec：Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera

源码：https://github.com/Brummi/MonoRec

年份：2021

三、端到端定位导航

1.可变端到端定位与导航：

关键词：端到端、定位、导航

论文：Variational End-to-End Navigation and Localization

源码：-

年份：2019

四、特征匹配

1.基于深度学习特征提取的路标特征匹配：

关键词：深度学习、特征提取、特征匹配

论文：Improving Keypoint Matching Using a Landmark-Based Image Representation

源码：https://github.com/Hansry/Keypoint-Matching-Based-on-Landmark-Representation

年份：2019

2.基于深度学习的2D图像到3D点云的特征匹配：

关键词：深度学习、2D图像、3D点云、特征匹配

论文：2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

源码：-

年份：2019

五、重定位

1.基于深度学习视觉位置识别的重定位：

关键词：卷积神经网络、路标定位网络、视觉位置识别

论文：Localizing Discriminative Visual Landmarks for Place Recognition

源码：-

年份：2019

2.基于迁移学习的视觉位置识别：

关键词：迁移学习、视觉位置识别

论文：A Multi-Domain Feature Learning Method for Visual Place Recognition

源码：

年份：2019

六、深度估计

1.基于深度学习的深度估计：

关键词：深度估计、深度学习

论文：Geo-Supervised Visual Depth Prediction

源码：https://github.com/feixh/GeoSup

年份：2019

七、语义理解

1.自动驾驶的实时语义推理：

关键词：街道分类、车辆识别、道路分割

论文：MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

源码：https://github.com/MarvinTeichmann/MultiNet

年份：2018

2.实时语义分割网络：

关键词：跳跃结构、UNet、扩张前端

论文：SHUFFLESEG: REAL-TIME SEMANTIC SEGMENTATION NETWORK

源码：https://github.com/MSiam/TFSegmentation

年份：2018

3.基于自组织网络的点云语义解析：

关键词：自组织网络、点云特征提取、点云语义解析

论文：SO-Net: Self-Organizing Network for Point Cloud Analysis

源码：https://github.com/lijx10/SO-Net

年份：2018

八、语义SLAM

1.基于卷积神经网络的稠密三维语义建图：

关键词：语义建图、三维稠密、卷积神经网络

论文：SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks

源码：https://github.com/seaun163/semanticfusion

年份：2016

2.基于CNN语义融合的SLAM：

关键词：CNN、SLAM、语义融合

论文：CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

源码：https://github.com/iitmcvg/CNN_SLAM

年份：2017

参考文献

[1] 张虎，机器人SLAM导航核心技术与实战[M]. 机械工业出版社，2022.

 购书链接：https://item.jd.com/13041503.html

下载更多资料：www.xiihoo.com

QQ技术讨论群：117698356

B站视频教程：https://space.bilibili.com/66815220

Github源码：https://github.com/xiihoo/Books_Robot_SLAM_Navigation

Gitee源码（国内访问速度快）：https://gitee.com/xiihoo-robot/Books_Robot_SLAM_Navigation