增强一切自动驾驶任务！ViDAR：视觉点云预测赋能大规模端到端自动驾驶（CVPR 2024）...

转载已于 2024-04-27 20:45:56 修改 · 450 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247601908&idx=1&sn=afe2dba4383bb2c6674d01cd4ec42626&chksm=cf53f08a4834a96381c3562439fc650e6bd9972892c13b9de793c14a9162f8519fd9cfb758e9&scene=126&sessionid=0

文章标签：

#自动驾驶 #人工智能 #机器学习

于 2024-04-26 07:31:03 首次发布

这篇文章报道了上海AILab的青年研究员杨泽同在CVPR2024中分享的关于视觉点云预测如何推动大规模端到端自动驾驶的研究。文章还提到自动驾驶之心的知识交流平台，邀请读者参与学术讨论和加入相关技术社群.

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心邀请来了上海AI Lab青年研究员 & 港中文博士—杨泽同！为大家分享CVPR 2024中稿的最新工作，探究视觉点云预测如何赋能大规模端到端自动驾驶！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

添加小助理微信AIDriver004，加入近30+自动驾驶技术方向交流群！更多行业咨询与技术分享，欢迎加入『自动驾驶之心知识星球』，国内最大的自动驾驶技术交流社区，你想要的这里都有。

哔哩哔哩关注自动驾驶之心，预约直播

自动驾驶之心B站

【自动驾驶之心】平台矩阵，欢迎联系我们！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

自动驾驶之心

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

BEV进入定制化时代！清华Hierarchical BEV：创新多模块学习框架，无痛落地无缝量产！...

CV_Autobot的博客

07-31

714

点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享清华大学最新的工作—Hierarchical and Decoupled BEV！全新BEV感知范式，解决感知算法开发过程中存在开发周期长、可复用性差、传感器设置复杂等问题。如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDrive...

（论文速读）ViDAR：视觉自动驾驶预训练框架

LJ1147517021的博客

08-16

1191

【摘要】本文提出ViDAR，一种创新的视觉点云预测预训练方法，用于解决自动驾驶系统对语义、3D几何和时序联合建模的挑战。通过历史视觉输入预测未来点云，ViDAR采用潜在渲染算子将2D特征转化为3D表示，避免了传统方法的射线形状特征问题。实验表明，该方法在nuScenes数据集上显著提升下游任务性能：3D检测NDS提升3.1%，运动预测误差降低10%，规划碰撞率下降15%。特别值得注意的是，ViDAR仅需一半标注数据即可超越全监督基线，为实现可扩展的自动驾驶提供了新范式。

参与评论您还未登录，请先登录后发表或查看评论

自动驾驶之心：技术交流群汇总

CV_Autobot的博客

07-10

5294

自动驾驶之心是国内首个自动驾驶开发者社区，这是一个前沿技术发布和学习的聚集地，主要切入自动驾驶感知（分类、检测、分割、关键点、3D感知、多传感器融合）、自动驾驶定位建图（视觉SLAM、激光SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地、行业动态、岗位发布等。除此之外，将会不定期邀请CVPR、ICCV、ECCV、IROS等顶会大佬来平台分享工作。为了...

两年，自动驾驶到底能有多少翻天覆地的变化？

CV_Autobot的博客

07-14

250

自动驾驶之心两周年了！2年前的今天，和朋友一起在黄浦江边散步，津津有味地讨论起自动驾驶的未来，以及每个自动驾驶从业者的走向。回顾这几年，自动驾驶的进程可谓是浩浩荡荡，每个人都深处与洪流之中，有些人因为自身的努力或幸运站在了潮头之上，激昂和困惑交织在每个人的心头。回顾前3年，很多技术处于新兴阶段，BEV、在线地图、Occ、端到端都处于萌芽，各家自动驾驶公司干的热火朝天，都想分一杯羹，那个时候希望满满...

推荐文章：ViDAR - 开启自动驾驶新纪元的视觉点云预测技术

gitblog_00019的博客

06-05

700

正式开启！自动驾驶之心双十一学习福利

CV_Autobot的博客

11-02

506

大家好，我们是自动驾驶之心团队。转眼又到一年的双十一，2023年的余额已不足60天，回想今年和大家一起走过的300多天，是满满的回忆和感动。今年是自动驾驶发展尤为关键的一年，大家攒着一股劲都在加油。小鹏G6、蔚来es8、理想公路高铁MEGA、智己LS6、问界新M7纷至沓来。同时今年也是自动驾驶之心平台非常忙碌的一年，顺应这波浪潮，平台自研了一系列的学习课程，也为大家创建好了官网（www.zdjsz...

端到端自动驾驶：挑战与前沿

家鸽的代码屋

07-12

1349

端到端自动驾驶研究综述本文全面回顾了端到端自动驾驶技术的发展历程、关键方法与前沿挑战。相比传统模块化系统，端到端方法通过联合优化感知、预测和规划模块，展现出计算效率高和整体性能优化的优势。研究梳理了270余篇文献，系统分析了模仿学习（包括行为克隆和逆最优控制）和强化学习两类主要方法。当前研究面临多模态融合、可解释性、因果混淆等核心挑战，同时正积极探索基础模型和视觉预训练等前沿技术的整合应用。随着CARLA v2和nuPlan等新基准的建立，该领域正从单纯算法改进转向更注重系统安全性和泛化能力的研究方向。本

复现opendrivelab的“点云预测”项目

weixin_61663117的博客

08-05

1094

本文的主要工作就是复现下述论文中的算法。该论文全称：Visual Point Cloud Forecasting论文内容在此不做过多介绍，直接上项目。首先通读readme.md文件的内容，了解所需要的相关依赖和数据等内容。一定要多读几遍，不要扫一眼就过了。接下来就是部署环境，根据readme.md文件的内容直接部署环境即可。他们这里给的部署环境的步骤还是较为详细的。由于我电脑内存不够的原因，我在这里使用的是AutoDL上面的算力，它默认的就是Linux环境。至于AutoDL怎么用，可以去官网看帮助文档。如果

38、自动驾驶中的鸟瞰视图感知技术解析

最新发布

linux的博客

09-22

本文深入解析了自动驾驶中的鸟瞰视图（BEV）感知技术，涵盖目标关系研究与时间融合方法、常用数据集（如KITTI、nuScenes、Waymo等）、评估指标（如AP、mAP、mIoU等）、工业应用架构及关键技术模块。文章还探讨了当前面临的挑战，包括LiDAR与相机方法的局限性，并分析了技术优势、发展趋势及典型应用案例。最后展望了算法优化、多模态融合深化和场景适应性增强等未来方向，展示了BEV感知在推动自动驾驶集成化与智能化发展中的重要作用。

论文《Visual Point Cloud Forecasting enables Scalable Autonomous Driving》详细解析

weixin_44298961的博客

05-29

1348

该论文提出了一种新的预训练任务，称为“视觉点云预测”（Visual Point Cloud Forecasting），从历史视觉输入中预测未来的点云。论文介绍了ViDAR模型，通过这种方法显著提高了多种下游任务（如感知、预测和规划）的性能。历史编码器：提取来自多视角图像序列的BEV嵌入。潜在渲染操作符：模拟体渲染操作，将历史嵌入转换为几何嵌入。未来解码器：自回归地预测未来的BEV特征，生成未来的点云。

最新综述：自动驾驶的协同感知技术

CV_Autobot的博客

09-03

2954

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【数据集下载】获取计算机视觉近30种数据集！arXiv综述论文“Collaborative Perception for Autonomous Driving: Current Status and Future Trend“，2022年8月23日，上海交大。感知是自主驾驶系统的关键模块之一，...

自动驾驶的里程碑 | 感知、预测、规划一站汇总，都在这里了！

CV_Autobot的博客

06-29

988

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到李宇宸来分享自动驾驶的里程碑综述—感知、预测和规控综述！如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【全栈算法】技术交流群论文作者|李宇宸等编辑 | 自动驾驶之心人们对自动驾驶(AD)和智能车辆(IV)的兴趣日益增长，是因为它们承诺提高安全性、效率和经济效益。虽然...

BEV感知模型实用的一些经验

CV_Autobot的博客

01-09

1223

作者|Captain Jack 编辑| CVer原文链接：https://zhuanlan.zhihu.com/p/596524036点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【BEV感知】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！目前实用 BEV 的技术方案已经有大概半年时间了，多个 BEV 模型都在不同...

自动驾驶之心招募合作伙伴了！

CV_Autobot的博客

06-30

172

自动驾驶之心致力于打造国内最顶尖的自动驾驶与机器人技术分享平台，全网近20w粉丝，近2年来在自动驾驶前沿技术分享、量产实战分享、技术培训、产学研结合等多个方面做出了不小的成绩，也得到了行业和粉丝们的认可。但个人和一个团队的力量毕竟有效，自动驾驶之心希望更多有志之士加入我们，一起推动行业进步，加速落地！我们面向全网招募合作者，主要业务为：课程制作、课程开发、比赛辅导、科研辅导、技术咨询等；自动驾驶之...

2025年就靠这个自动驾驶黄埔军校了~

CV_Autobot的博客

01-05

451

点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『星球vip』交流群近来常思，自动驾驶发展下一步会是什么？又或者说2025年自动驾驶之心怎么走？诚然大环境越来越难。2024年有不少国内外的新能源车企破产，后面大大小小的公司招聘停滞、裁员甚至毁约应届生。可以说，自动驾驶已经正式进入下半场。价格内卷、产品内卷、技术内卷~随着...

CV_Autobot的博客

03-29

1767

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【规划控制】技术交流群后台回复【规划控制综述】获取自动驾驶、智能机器人规划控制最新综述论文！摘要智能汽车(IVs)凭借其增强的便利性、安全性优势和潜在的商业价值而受到广泛关注。尽管一些自动驾驶独角兽断言，到2025年，IVs将实现商业部署，但由于各种问题，它们的部署仍然局限于小规模验证，其中安全性、可靠性和规划...

突破3000人了！这个自动驾驶的黄埔军校里面究竟有什么？

CV_Autobot的博客

06-29

387

自动驾驶之心一直投入较多时间维护的社区：“自动驾驶之心知识星球”正式要突破3000人了！说句心里话，社区就像个孩子一样，在大家细心的照料下，终于长大成人了。星球这半年分享了很多很多关于最新的端到端、Occupancy、大模型、one-model、3D GS、规控预测等行业最前沿的内容，也分享了很多公司的人事变动情况，共进退是社区的主旋律。在这个关键节点，我们期望更多优秀的小伙伴能够加入我们，一起前...

国内最大的自动驾驶社区！死磕技术分享与求职交流

CV_Autobot的博客

04-11

516

最近有个粉丝私聊博主，身边有同学拿到了45k*16的薪资，再回看自己还没找到工作，实在有压力，也非常羡慕。不得不说啊，这待遇也已经超越了很多2~3年的社招人群，真是长江后浪推前浪！这也能验证一个事情，自动驾驶依然是有很充裕的资金支持研发，各大企业也愿意投入高薪招聘人才。回到正题上，后面电话和这位同学聊了下，之所以没拿到合适的offer。一方面是因为导师放养没有能打的项目，另外一方面缺乏实习经历，以...

3000人的自动驾驶黄埔军校，到底有哪些硬菜？

CV_Autobot的博客

07-07

280

自动驾驶之心一直投入较多时间维护的社区：“自动驾驶之心知识星球”已经突破3000人了！说句心里话，社区就像个孩子一样，在大家细心的照料下，终于长大成人了。星球这半年分享了很多很多关于最新的端到端、Occupancy、视觉-大语言模型、世界模型、3D GS、NeRF、规控预测等行业最前沿的内容，也分享了很多公司的人事变动情况，共进退是社区的主旋律。在这个关键节点，我们期望更多优秀的小伙伴能够加入我们...

http:// https://github.com/vidar-team/Cardinal/releases

06-17

### Cardinal 项目版本发布内容的访问与下载 Cardinal 是一个基于 Go 的开源项目，旨在提供对 PostgreSQL 数据库的查询优化和分析功能。如果需要访问或下载 Cardinal 项目的特定版本发布内容，可以通过以下方法实现： GitHub 是 Cardinal 项目的主要托管平台，所有版本发布的内容都可以在该项目的 Releases 页面找到。访问 GitHub 上的 Cardinal 项目页面后，可以导航到 Releases 标签页，查看所有已发布的版本及其相关文件[^1]。以下是具体的操作步骤说明（以 Markdown 格式组织）： #### 访问 Cardinal 项目的 Releases 页面打开浏览器并访问 Cardinal 项目的官方 GitHub 页面： ``` https://github.com/estark37/cardinal/releases ``` 此页面列出了所有正式发布的版本，包括每个版本的变更日志、二进制文件、源代码压缩包等内容。 #### 下载特定版本的发布内容在 Releases 页面中，点击目标版本的标题链接，进入该版本的详细信息页面。页面上通常会包含以下内容： - **Change Log**：描述该版本的主要更新和修复内容。 - **Assets**：提供可下载的文件，包括源代码压缩包和预编译的二进制文件。例如，若要下载版本 `v1.2.3` 的源代码压缩包，可以选择 `.tar.gz` 或 `.zip` 文件进行下载[^2]。 #### 使用命令行工具下载如果偏好使用命令行工具，可以借助 `curl` 或 `wget` 下载指定版本的文件。例如，假设目标版本为 `v1.2.3`，并且需要下载其源代码压缩包 `.tar.gz`，可以运行以下命令： ```bash wget https://github.com/estark37/cardinal/archive/refs/tags/v1.2.3.tar.gz ``` #### 验证下载文件的完整性部分 GitHub 项目会在 Release 页面提供校验和文件（如 SHA256 校验值），用于验证下载文件的完整性。通过对比本地文件的校验值与官方提供的校验值，可以确保文件未被篡改。例如，使用以下命令计算文件的 SHA256 值： ```bash sha256sum v1.2.3.tar.gz ``` #### 安装或部署下载完成后，根据项目文档中的说明解压并安装。例如，解压 `.tar.gz` 文件可以使用以下命令： ```bash tar -xvf v1.2.3.tar.gz cd cardinal-v1.2.3 ``` 随后按照项目的 README 文件中的指引完成安装和配置过程。 ### 注意事项确保从官方渠道下载 Cardinal 项目的发布内容，以避免潜在的安全风险。此外，建议定期检查项目的最新动态，以便及时获取重要的更新信息[^3]。