gradslam(∇SLAM)开源:论文、代码全都有

PointFusion:PointFusion的非官方实现,用于3D对象边界框预测 点融合 PointFusion神经网络的非官方实现: ://arxiv.org/abs/1711.10871 从对象点及其3D边界框回归空间偏移 进行中 去做: Linemod数据集脚本 Objectron数据集脚本 自定义PoinNet网络 PointFusion网络 ResNet50特征提取网络 无监督损失函数 立即下载

By 超神经

内容提要:来自蒙特利尔、卡内基梅隆大学的团队,在 ICRA 2020 上发表的论文中所提出的 ∇SLAM,解决了当下 SLAM 系统普遍所面临的一个开放性问题。

关键词:SLAM  室内 3D 地图重建

近两年来,随着自动驾驶、无人机等智能设备的迅猛发展,其背后的一项关键技术——SLAM,(Simultaneous Localization And Mapping,中文译名:同时定位与地图构建)也名声大噪。

SLAM 发展距今已有 30 余年的历史,是机器在未知环境下,感知和状态估计、进行自主作业的关键技术,可以说,机器要执行路径规划、导航等任务,AR、VR 构建稳定的三维空间,这些技术都离不开 SLAM 的辅助。

通俗点来说,SLAM 就解答两个问题:「我在哪儿?」和「我的环境里有啥?」

比如扫地机器人这类,就是依靠激光雷达或摄像头,再结合 SLAM 技术,才能清楚房间的角角落落是如何布局的,然后构建环境地图,根据这些信息来规划自己的打扫路径。

SLAM 赋予扫地机器人定位、路径规划等核心功能

不过,发展多年以来,传统的 SLAM 算法仍面临端到端不可微的开放性问题,来自蒙特利尔大学、卡内基梅隆大学的团队在 ICRA 2020 发表的论文,则针对这一问题提出了解决办法。

 ∇SLAM,解决经典 SLAM 算法瓶颈问题

目前,经典的 SLAM 算法有 Kinect-Fusion、PointFusion 和 ICP-SLAM 等,但由于这些方法中,很多组件是不可微分的,所以,SLAM 的表示学习一直是一个开放性的问题。这也成为了阻碍 SLAM 发展的瓶颈。

为了解决此类问题,许多研究者开始使用深度学习。但是,这些研究大多限于虚拟数据集或特定环境,甚至为了准确性而牺牲效率。因此,它们不够实用。

在今年 5 月,在机器人与人工智能领域的重要会议 ICRA 2020(International Conference on Robotics and Automation,机器人与自动化国际会议)上,来自蒙特利尔大学、卡内基梅隆大学的团队,发表了论文《∇SLAM: Dense SLAM meets Automatic Differentiation》,提出了以上问题的一个解决方法。

梯度SLAM:一种满足自动微分的SLAM密集建图方法

http://montrealrobotics.ca/gradSLAM/paper.pdf

作者指出,在 SLAM 的密集建图系统中,比如优化(Optimization)问题,光线投射(Raycast)问题等,有很多单元是不可被微分的,这也使得基于梯度的方法在 SLAM 中没有取得很大的成功。

对此,作者在论文中提出了  gradslam(∇SLAM),这是一种在 SLAM 上的可微计算图。利用计算图的自动微分功能, gradslam(∇SLAM)允许在其每个组件或整个系统之间进行基于梯度的学习。 

∇SLAM 的核心思想是设计了可微分的计算图

来表示 SLAM 密集建图中不可微分的组件

一个完全可微分的 SLAM 系统,将使任务驱动的表示学习成为可能,因为表示任务性能的误差信号,可以通过 SLAM 系统,反向传播到原始传感器观察数据中。

最终结果是,团队在不牺牲性能的情况下,设计了可微分的信赖域(trust-region)优化器、表面测量和融合方案,以及对光线上的微分。这种密集的 SLAM 与计算图形的融合,使大家能够从 3D 地图一路回溯到 2D 像素,为基于梯度的 SLAM 学习开辟了新的可能性。

作者表示, gradslam(∇SLAM)的框架非常具有泛化性,可以扩展到任何现有的 SLAM 系统并使其可微。

 可微分大法,让 3D 重建效果更好

团队对典型的 SLAM 方法 ICP-Odometry、ICP-SLAM、Kinect-Fusion 以及 PointFusion,实现为可微分计算图,并分析了每种方法与其不可微的对应方法的比较。

结果表明:在 ICP-Odometry 和 ICP-SLAM 建图上的表现良好,绝对轨迹误差和相对位姿误差都呈现了一个较低的水平。如下表所示:

每种方法不微分和微分后的效果对比

项目的官方地址:

https://github.com/gradslam/gradslam,可以动手实操一下,感受 gradslam(∇SLAM) 方案的优势。

除了 Github 以外,我们还找到了一个方便操作的国内服务,算力容器服务平台 OpenBayes 也上线了该模型训练教程,可以直接在 JupyterNotebook 中运行。

根据下方提示,可访问 gradslam(∇SLAM)

的完整 JupyterNotebook

只需要访问 openbayes.com 注册,就可以获得 CPU、NVIDIA T4、NVIDIA Tesla V100 等多种算力资源,目前在内测期间每周都有免费算力额度发放至账户。

OpenBayes 除了提供各类算力容器,还有公开数据集、预训练模型、以及很多热门项目的 Jupyter Notebook,一键运行,方便操作。

 注册说明 

访问 openbayes.com 

凭邀请码:HyperAI

注册新用户即可获得

免费 CPU 额度:300 分钟/周

免费 vGPU 额度:180 分钟/周

 gradslam(∇SLAM)运行说明 

注册 openbayes 完成后

访问控制台-公共教程

SLAM 技术已是业界公认的视觉领域空间定位技术的前沿方向视觉领域空间定位技术的前沿方向,从无人机到无人驾驶,从扫地机器人到 VR/AR 领域,这些热门领域都可看到 SLAM 的身影。

所以,如果你也想了解 SLAM 方向的最新科研成果,不如在这个周末好好研究gradslam(∇SLAM)项目。

论文地址:

http://montrealrobotics.ca/gradSLAM/paper.pdf

项目 GitHub 地址:

https://github.com/gradslam/gradslam

gradslam(∇SLAM)JupyterNotebook 地址:

https://openbayes.com/console/openbayes/containers/HoveymNsfrT

—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容(点击图片阅读)

gradslam:gradslam是PyTorch的开源可区分的密集SLAM库。 总览 gradslam是一个完全可区分的密集SLAM框架。 它为密集的SLAM系统提供了可区分的构建块的存储库,例如可区分的非线性最小二乘法求解器,可区分的ICP(迭代最近点)技术,可区分的射线广播模块和可区分的映射/融合块。 可以使用这些块来构造SLAM系统,该系统允许渐变从系统的输出(地图,轨迹)一直流到输入(原始颜色/深度图像,参数,校准等)。 rgbdimages = RGBDImages ( colors , depths , intrinsics ) slam = PointFusion () pointclouds , recovered_poses = slam ( rgbd 立即下载

相关推荐

面板数据门槛归回分析,xthreg的安装,xthreg2安装包

我用的是Stata17,数据是不平衡的面板数据,需要用到xthreg2,虽然我找到了xthreg2.ado,但是还需要安装xthreg,因为运行xthreg2需要xthreg包顺带安装的lxthreg.mlib文件。但是!我后来发现还是不行,最后是去买了一个真正能用到xthreg2的lxthreg.mlib文件,才可以运行。

weixin_55252589的博客 1万+

【亲测免费】 探索GradSLAM:一个创新的深度学习视觉 slam 库

是一个基于PyTorch的现代SLAM(Simultaneous Localization and Mapping)库,致力于将深度学习的灵活性与传统的计算机视觉算法相结合,以实现更高效、准确的实时定位和地图构建。该项目的核心理念是利用梯度下降法优化SLAM系统的状态估计,从而为机器人导航、自动驾驶等领域提供强大的工具。 ## 技术分析 GradSLAM采用了端到端的学习框架,允许直接对SLA...

gitblog_00073的博客 666

高德地图爬虫

高德地图爬虫 工具:Pycharm,win10,Python3.6.4 1.需求分析 这篇爬虫和上一篇百度地图爬虫要求一样,百度地图爬虫我发现有一个auth参数会一直变化,一旦变化则获取的数据是不准确的,所以我上高德地图看了一下,高德地图没有这个反爬机制。但是高德地图大概爬取120个页面就会跳一次验证码,我这里是通过换IP解决这个问题的。 2.数据准备 同样我们需要全国地级市信息,用之前...

123的博客 1万+

gradslam 项目常见问题解决方案

`gradslam` 是一个开源的、可微分的稠密SLAM(同步定位与地图构建)库,专为 PyTorch 设计。该项目提供了一系列可微分的构建模块,用于构建稠密SLAM系统,如可微分的非线性最小二乘求解器、可微分的ICP(迭代最近点)技术、可微分的光线投射模块以及可微分的映射/融合块。通过这些模块,用户可以构建允许梯度从系统输出(如地图、轨迹)一直流向输入(如原始颜色/深度图像、参数、校准等)的SL...

gitblog_00742的博客 584

Win11下Android模拟器报HAXM未安装?三步搞定虚拟化配置(附终端命令)

本文详细解析了Win11下Android模拟器HAXM报错的解决方案,从虚拟化配置到终端命令实战。通过检查BIOS设置、调整Windows功能及执行PowerShell命令,三步搞定虚拟化配置问题,有效提升模拟器性能。特别针对Win11与HAXM的兼容性问题提供了专业指导。

weixin_29215815的博客 146

vasp和ms_武汉理工大学赵焱课题组开发脚本 MS建模一键获取VASP输入文件POSCAR

本文给大家推介并分享一个通过Materials Studio一键获取VASP输入文件POSCAR的脚本,xsd2pos.pl。此脚本是武汉理工大学首席教授赵焱在帮助学生解决VASP计算问题时编写,解决了其他间接非手动获取POSCAR存在的问题,同时也相较于其他方法更为便捷,相信会对从事VASP计算的同行们带来便利。赵焱老师怀着哺育天下学子的情怀,希望给大家分享一下。下文介绍一下它的使用方法以及它所...

weixin_39706367的博客 2290

React Native Table Component自定义样式指南:从基础到高级样式定制

React Native Table Component是一个强大的表格组件库,专为React Native应用设计,提供灵活的表格展示功能。这个组件库支持Android和iOS双平台,让你能够轻松创建美观且功能丰富的表格界面。 在开始使用之前,你需要先安装这个组件库: ```bash npm install react-native-table-component ``` 然后导入所需的组

gitblog_00527的博客 907

spyglass之功耗分析

用于功耗分析的软件除了ptpx外,spyglass也可以。ptpx的功耗分析是基于netlist(网表)进行的,一般用于分析综合后的pre功耗和P&R后的post功耗,但这已经是项目进行到比较后期了,如果后期发现功耗数据与我们目标功耗相差较大,则意味着需要功耗优化,这时有可能会将项目计划节点延迟。如果在前期designer可以获得设计模块的功耗数据,可提早优化功耗,spyglass则为designer提供了一个很好的手段去评估功耗,从而提前优化功耗。

u011974971的博客 9208

jQuery Bar Rating部署指南:从开发到生产环境的完整流程

jQuery Bar Rating是一款轻量级、功能强大的jQuery评分插件,能够将普通的select选择框转换为美观的交互式评分组件。这款插件非常适合需要用户评分的网站和应用,无论是产品评价、服务反馈还是内容评分,都能提供优雅的解决方案。本文将为您提供从开发到生产环境的完整部署指南,帮助您快速掌握jQuery Bar Rating插件的使用方法。 ## 🚀 快速入门:环境准备与安装 ##

gitblog_00714的博客 575

用 ABAP CDS 把树建起来:Hierarchy 的建模、调试与消费全流程

CDS Hierarchy 将树形数据结构作为一等公民引入 ABAP 开发,通过定义父子关联、根节点条件和兄弟排序规则,让数据库原生支持层级查询。相比传统递归处理方式,它能避免性能瓶颈,提供$node系统字段描述节点结构信息,并支持与SAP UI框架无缝集成。这种方法简化了组织架构、成本中心等业务场景的层级数据处理,使开发人员能够专注于业务逻辑而非底层实现。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 210

工业级向量检索核心技术:IVF-PQ原理与全流程解析

在大规模高维向量检索场景中,IVF-PQ(倒排索引结合乘积量化)凭借“粗筛范围+细算距离”的双重加速策略,成为核心解决方案。本文将深入解析其原理与全流程,助力开发者掌握这一关键技术。

进一步有进一步的欢喜~ 1200

【SLAM】gradslam(∇SLAM)开源:论文、代码全都有

内容提要:来自蒙特利尔、卡内基梅隆大学的团队,在 ICRA 2020 上发表的论文中所提出的∇SLAM,解决了当下 SLAM 系统普遍所面临的一个开放性问题。关键词:SLAM 室内 ...

fengdu78的博客 675

QGis 相关技术、疑难杂症文章合集(掌握后可自封大侠 ⓿_⓿)(记得收藏,持续更新中...)

QGis 相关技术、疑难杂症文章合集(掌握后可自封大侠 ⓿_⓿)(记得收藏,持续更新中...)

281

GradSLAM核心功能解析:PyTorch驱动的可微分SLAM革命

GradSLAM是一款基于PyTorch的开源可微分稠密SLAM库,它将传统SLAM系统与深度学习框架的优势相结合,为机器人感知、三维重建等领域提供了强大的工具支持。通过可微分特性,开发者可以直接优化SLAM系统中的关键参数,显著提升三维场景重建的精度与效率。 [![GradSLAM项目标志](https://raw.gitcode.com/gh_mirrors/gr/gradslam/raw/

gitblog_00402的博客 1102

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

GradSLAM可视化指南:用Plotly创建惊艳3D点云效果图

GradSLAM是一个基于PyTorch的开源可微稠密SLAM库,为开发者提供了强大的三维重建与可视化能力。本文将详细介绍如何使用Plotly工具在GradSLAM中创建高质量的3D点云可视化效果,帮助新手用户快速掌握点云数据的动态展示技巧。 ## 为什么选择Plotly进行3D点云可视化? Plotly作为一款交互式可视化库,在GradSLAM中展现出三大核心优势: - **动态交互体验*

gitblog_01198的博客 1127

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

终极教程:用GradSLAM处理ICL-NUIM数据集的完整步骤

GradSLAM是一个基于PyTorch的开源可微稠密SLAM库,能够帮助研究者和开发者高效处理三维重建任务。本教程将带你完成使用GradSLAM处理ICL-NUIM数据集的全过程,从环境搭建到数据加载与处理,让你快速掌握这一强大工具的核心应用。 [![GradSLAM库封面](https://raw.gitcode.com/gh_mirrors/gr/gradslam/raw/44470eee

gitblog_00738的博客 613

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

97项开源视觉SLAM方案(二)

原文链接:https://zhuanlan.zhihu.com/p/115599978 未经作者允许,禁止二次转载 微信扫码,回复:开源SLAM,即可获取全文文档(共97个方案,本文28个) 本文简单将各种方案分为以下 7 类(固然有不少文章无法恰当分类,比如动态语义稠密建图的 VISLAM +_+): Geometric SLAM Semantic / Deep SLAM Multi-Landmarks / Object SLAM Sensor Fusion .

一点人工一点智能的博客 2535

ConceptGraphs完全指南:构建智能场景图的终极框架

你是否想过让机器人像人类一样理解三维环境?🤔 ConceptGraphs正是这样一个革命性的开源框架!它能够将复杂的3D场景转换为智能场景图,让机器真正"看懂"周围的世界。作为开词汇三维场景图的终极解决方案,ConceptGraphs结合了最新的计算机视觉和人工智能技术,为机器人感知和规划提供了强大的工具。 ## 🌟 什么是ConceptGraphs? ConceptGraphs是一个开源

gitblog_00268的博客 376

SLAM 领域国内外优秀实验室汇总

本文汇总了全球范围内在SLAM(同时定位与建图)领域具有影响力的研究团队及其代表性成果。涵盖美国、欧洲、亚洲等地的高校和实验室,包括卡耐基梅隆大学机器人研究所、麻省理工学院SPARK实验室、苏黎世联邦理工大学计算机视觉与几何实验室等。重点介绍了各团队的研究方向(如视觉/激光SLAM、语义导航、多机器人协作等)、开源项目(如VINS-Mono、ORB-SLAM2、Kimera等)以及经典论文(如iSAM、ElasticFusion等)。同时收录了国内优秀团队如

人无远虑,必有近忧 3799

OpenRLHF 训练稳定性调优:6 个环境变量的实战配置指南

多机训练第一步就挂,日志里只剩一行 NCCL 报错;单机跑数据加载阶段,日志被 tokenizer 警告刷屏,GPU 利用率忽高忽低。OpenRLHF(基于 Ray 的 RL 训练框架)的稳定性问题,多数出在链路各环节的环境变量上。本文按链路顺序盘点源码中真实读取的 6 个环境变量,逐个给出配置与验证方法。 ## 全局认知:配置层 ↔ 链路阶段对照 环境变量不是孤立开关,每个都卡在训练链路的某

gitblog_01200的博客 868

如何用yada构建高性能Web服务:从入门到精通的完整教程

在当今快速发展的Web开发领域,Clojure开发者们一直在寻找能够构建高性能、可维护Web服务的最佳工具。yada作为一款强大的Clojure Web库,以其完整的HTTP协议支持、全异步架构和卓越的性能表现,成为了构建生产级Web服务的理想选择。本文将为您提供一份完整的yada使用指南,从基础概念到高级技巧,帮助您快速掌握这个强大的工具。 ## 🚀 yada是什么? yada是一个专为C

gitblog_01001的博客 979

MV3D代码笔记

说一说新路历程 一周前看到了论文pointfusion,但是在阅读代码的时候,发现pointfusion代码中直接使用了处理过后的kitti数据,如下代码可视;但是我又不知道他是怎么处理的,然后就想到了MV3D中有类似的操作,所以起了阅读MV3D源码的想法;两天前开始阅读源码,找了一个star最高的MV3D源码进行阅读 但是,随着阅读的进行,我发现这个源码中没有加载前视图的特征;然后就失去了继续阅读的兴趣;但是还是准备对已经阅读的一些文件做个笔记,以备以后需要 data.py文件 运行daty.py文件

qhu1600417010的博客 1598

PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation

摘要    我们提出了PointFusion,一种利用图像和3D点云信息的通用3D对象检测方法。与使用多级管道或保持传感器和数据集特定假设的现有方法不同,PointFusion在概念上简单且与应用程序无关。图像数据和原始点云数据分别由CNN和PointNet架构独立处理。然后,由新的融合网络组合所得到的输出,该融合网络使用输入的3D点作为空间锚点来预测多个3D盒子假设及其置信度。我们在两个不同的...

fengcc7099的博客 4925

MVX-Net: PointFusion 在mmdetection3d中的实现

MVX-Net网络中PointFusion与VoxelFusion在mmdetection3d中的实现

weixin_38362784的博客 3943

MVX-net3D算法笔记

采用Pointfusion 和VoxelFusion实现了相机和点云的早融合。在KITTI数据集上包括5类别的鸟瞰数据和3D检测数据中获得前2名的数据。

weixin_41922853的博客 1646

slam算法有哪些

1. 基于激光雷达的SLAM算法:Hector SLAM、Gmapping、Cartographer、Karto SLAM、Horn SLAM等;3. 基于组合传感器的SLAM算法:Rovio、OKVIS、LSD-SLAM2、VINS-Mono、VINS-Fusion等;5. 基于无人机的SLAM算法:VINS-Mono、VINS-Fusion、OKVIS、LSD-SLAM2等;2. 基于视觉的SLAM算法:ORB-SLAM、LSD-SLAM、PTAM、SVO、DTAM等;

qq_37464479的博客 9462
上一篇: 龙泉寺贤超法师:用 AI 为古籍经书识别、断句、翻译
下一篇: 日本「AI 鱼脸识别」项目,每分钟识别 100 条
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值