【slam-2020-01-02】扩展应用_vr slam-优快云博客

本文链接：https://blog.youkuaiyun.com/ACBattle/article/details/103823541

本文探讨了SLAM技术在VR和AR领域的应用，包括VR/AR与SLAM的关系，当前的先进开源方案，以及在室内三维重建、虚拟展示、室外导航等场景的具体实践。同时，深入分析了语义信息如何辅助SLAM，以及SLAM如何促进语义理解，为室内大型公共场所提供精准定位解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一篇比较全面的slam博客

一、VR+AR

1、VR和AR的关系

AR、MR是平台，覆盖面比VR更广，VR是一种媒体形式，任何用得到媒体的场景，如娱乐、教育等，都会有VR的影子。

2、VR、AR和slam的关系

VR\AR和slam的结合，主要是需要slam进行投影定位，让他们不会发生不必要的晃动，更进一步，需要在现实生活中实现叠加定位，比如藏在真实的桌子后面，才能更有真实感，也才能让看的人不出戏。

3、目前的发展应用

SLAM目前最先进的开源方案，feature-based 的ORBSLAM作者Raul Mur-Artal，还是直接法DSO作者Jakob Engel以及其他一些SLAM方向重要实验室的毕业生很多都选择了加入facebook 的reality lab 从事oculus VR 设备的研发，间接看出目前VSLAM最适合的应用场景是VR/AR。

VR

贝壳 | 如视
100平米，从数据采集（专业设备）到上传云服务器进行三维重建90分钟。
58同城+安居客 | 临感
采用的双目立体视觉系统和激光点云技术。一般设备采集10分钟，自动识别墙角，按序列连接墙角，400+层神经网络训练。
目前用户体验安居客 > 贝壳，在3D建模上，前者切换更顺滑。

AR

虚拟展示
- 宜家和苹果合作，把虚拟的家具放在家里的某个位置上看效果，随着镜头的移动可以保持家具的相对位置不变。
- 京东和华为合作尝试实景购物，模拟冰箱、洗衣机等电器。
  比如：看到洗衣机内部清晰的构造。打开冰箱，里面的食物热量、保质期等详细信息介绍以实体图像显示在眼前。
- 车展（还未普遍）、舞台（最近几年晚会经常出现的虚拟动漫人物和歌手一起表演）
虚拟试装
- 换衣需要物体三维重建，（检测运动速度，呈现裙子旋转效果）。
- 换发型、化妆等（口红一哥李佳琦给嘴唇买保险，淘宝已存在一部分化妆品可进行虚拟试装）。
室外导航
- 商汤、OPPO、高德地图合作推出AR步行导航，递增地创建周围环境的地图，同时利用创建的地图实现自主定位。用户只需看着屏幕中的虚拟形象，不必进一步翻译地图，
商汤senseAR生态圈
- 手机端：室外步行导航、特效拍照
- 文娱：通过视觉+表情识别，渲染娱乐效果（主要用于小视频、综艺）

二、语义和slam

1、语义帮助slam

有物体识别的语义信息，构建带有标签的地图，可为回环检测、BA优化带来便利。

BA(bundle adjustment)指的是同时调整相机姿态和特征点位置，以便从每个特征点反射出的光线(bundles of light rays)，通过调整(adjustment)最后都能通过相机光心。故也有人翻译为光束平差法。BA通常构建为一个最小二乘问题，通过使重投影误差最小化来同时调整相机的位姿和特征点的坐标。

语义信息用于特征选择，提升置信度
利用语义分割结果对显著性图进行filter，即重新调整每个像素点的显著性得分，目的是降低无信息区域的显著性得分，例如墙，天花板和地板等，帮助识别弱纹理。
用于动态slam，根据静态点进行跟踪
通过目标检测去除动态点，但是为了使得目标检测线程和slam线程同步，无需对每一帧进行检测，只在关键帧进行检测，然后通过特征匹配和扩展影响区域的形式进行运动概率的传播，然后在slam过程中去除动态点的影响，只利用静态点进行跟踪。
语义SLAM/语义地图，研究现状不太好，待研究的点有很多
最简单的方式就是分两步，先语义分割，然后加上slam层，也就是概率加持，代码已开源。