ICCV 2023开源！打破端到端自动驾驶感知和规划的耦合障碍！

已于 2023-08-12 10:27:51 修改
阅读量533 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 3D视觉从入门到精通 文章标签： 自动驾驶 人工智能 机器学习
于 2023-08-07 07:01:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Yong_Qi2015/article/details/132157899
DriveAdapter是ICCV 2023的一项新工作，旨在解决自动驾驶中感知和规划的耦合问题。通过学生模型进行感知，教师模型进行规划，配合适配器和特征对齐损失，降低感知不准确和教师模型不完善的负面影响。实验证明，这种方法在减少数据需求的同时，提高了自动驾驶性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者：泡椒味的口香糖  | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。

添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群。

0. 笔者个人体会

端到端自动驾驶一直是研究的重点和热点，输入RGB图像或雷达点云，输出自车的控制信号或运动规划。但目前很多工作都是只做感知或者只做规划，很重要的一个原因是端到端模型训练时间太长了，而且最终学习到的控制信号也未见得多好。现有的教师-学生范式还可能产生很严重的Causal Confusion问题。

今天要为大家介绍的就是ICCV 2023开源的工作DriveAdapter，解决了自动驾驶感知和规划的耦合障碍，来源于上交和上海AI Lab，这里不得不慨叹AI Lab实在高产，刚刚用UniAD拿了CVPR的Best Paper就又产出了新成果。

DriveAdapter的做法是，用学生模型来感知，用教师模型来规划，并且引入新的适配器和特征对齐损失来打破感知和规划的耦合障碍！想法很新颖！

1. 问题引出

最直接的端到端自动驾驶框架，就是输入RGB图，利用强化学习直接输出控制信号（a）。但这样做效率太低了，在使用预训练模型的情况下甚至都需要20天才能收敛！

了解本专栏 订阅专栏 解锁全文 超级会员免费看
60项基于深度学习的SLAM顶会开源方案汇总（上篇）
3D视觉工坊
12-29 1090
点击进入—>3D视觉工坊学习交流群0. 笔者个人体会深度学习结合SLAM是近年来很热门的研究方向，也因此诞生了很多开源方案。笔者最近在阅读SLAM综述论文“A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence”，该综述参考了255篇SLAM...
【系列文章】面向自动驾驶的三维点云处理与学习（2）
点云PCL
03-06 655
标题：3D Point Cloud Processing and Learning for Autonomous Driving 作者：Siheng Chen, Baoan Liu, Chen Feng, Carlos Vallespi-Gonzalez, Carl Wellington 编译：点云PCL 来源：arXiv 2020 本文仅做学术分享，由于恶意举报，暂不能申请原创，本人翻译文章如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未
51c自动驾驶~合集43
whaosoft~aiotの开发板商城
12-27 1664
我自己的原文哦~ https://blog.51cto.com/whaosoft/12930230上交大最新ChatDyn：一句话操纵三维动态理解和生成真实的三维虚拟世界是空间智能的核心。所生成的三维虚拟世界能够为自动驾驶、具身智能等AI系统提供高质量闭环仿真训练场，高效提供源源不断的训练数据，并以极低成本合成罕见情景进行测试。目前，虽然我们有了Diffusion,三维虚拟世界的画质呈现大幅提升，但是虚拟世界中前景物体交互行为的一致性、可靠性、可控性仍然很低，限制了这一领域取得实质性突破。为了突破现有困
51c自动驾驶~合集54
whaosoft~aiotの开发板商城
03-12 1495
在车道拓扑提取任务中，我们预测一个密集的邻接矩阵，用于表示车道线段和交通元素之间的关系。具体来说，车道线段之间的关系由矩阵A∈Rm×m表示，车道线段与交通元素之间的关系由矩阵A∈Rm×n表示，其中m和n分别是车道线段和交通元素的数量。尽管密集视觉提示可以实现高性能，但其高昂的成本、环境影响和低效的推理速度使其不适用于实时应用。因此，我们采用链式推理（Chain-of-Thought, COT）方法，仅对稀疏的边缘情况进行密集视觉提示，从而提高推理效率。
自动驾驶合集6
whaosoft143ai的博客
12-23 1544
其实很多ADAS企业都不太重视仿真的，重心都在回灌和道路测试，即使搭建了仿真工具链，在量产项目中的作用也很小，只是用来分析、复现问题/BUG。面向量产项目/功能开发的传感器数据&信号仿真、车辆运动学&动力学仿真、感知&规控联合仿真、数据孪生数据挖掘的仿真还是没有完全成熟的方案，迫切需要面向WorldSim的全栈联合仿真&模拟器。如果可以把芯片硬件仿真、软件算法仿真一起搞了，那就更完美了。whaosoft aiot http://143ai.com
精品收藏：GitHub人工智能AI开源项目
热门推荐
AI吃大瓜的博客
07-26 4万+
精品收藏：GitHub人工智能AI开源项目 绝对精品！！！花了点时间，鄙人把这几年收藏的开源精品项目，整理一下，方面以后查找。其中涵盖了姿态检测，图像分割，图像分类，美学评价、人脸识别、多尺度训练，移动端的AI计算引擎，卫星图像，NLP，Python包，文字检测，NCRF，DALI等开源项目。 更多开源项目，持续更细中…… 目录 目录 精品收藏：GitHub人工智能AI开源项目 常...
51c自动驾驶~合集56
whaosoft~aiotの开发板商城
05-28 1749
视觉-语言-动作模型（Vision-Language-Action, VLA）,通过整合。
又有实验室中了11篇ICCV 2025论文
小白学视觉
07-07 245
3）蒸馏微调，进一步优化s-MLLM的知识。本文的方法在Bench2Drive数据集上实现了卓越的闭环性能，驾驶得分为77.74，成功率为54.62%，相较于最先进的（SOTA）方法，分别以14.28的驾驶得分和19.61%的成功率的巨大优势领先。该论文第一作者是博士生白健弘，指导老师：夏孟涵，胡浩基，白翔，其他合作者：付潇，王鑫涛，牟联瑞，曹晋文，刘佐珠，万鹏飞，张迪。该论文第一作者是博士生蔡雨萱，指导老师：白翔、何新卫，其他合作者：张江宁，何昊阳，童奥，甘振业，汪铖杰，薛竹村，刘勇。
51c自动驾驶~合集11
whaosoft~aiotの开发板商城
12-06 1285
2015年，图森未来(TuSimple)成立，专注卡车无人驾驶研发，一直是中自动驾驶明星企业、处于第一梯队。2021年4月15日，上市纳斯达克上市，成为全球第一个自动驾驶上市企业，因为完善的技术体系和成熟的解决方案，在美国运营的无人卡车运营业务遭到美国政府制裁，也是第一家被美国制裁的自动驾驶企业，2024年1月17日，被迫从纳斯达克退市。
开源视觉SLAM方案
人无远虑，必有近忧
11-19 4464
前言 本文简单将各种开源视觉SLAM方案分为以下 7 类（固然有不少文章无法恰当分类）： ·Geometric SLAM ·Semantic / Learning SLAM ·Multi-Landmarks / Object SLAM ·VIO / VISLAM ·Dynamic SLAM ·Mapping ·Optimization 一、Geometric SLAM（20项） 这一类是传统的基于特征点、直接法或半直接法的 SLAM，虽说传统，但 2019 年也新诞生了 9 个开源方案.
开源端到端自动驾驶
03-19
另一个值得关注的工作是 ICCV 2023 的开源项目 **DriveAdapter**，其主要目标在于解决传统行为克隆中存在的感知与规划耦合问题[^4]。该项目提出了一种全新的端到端范式，能够有效利用通过强化学习 (RL) 学习得到的...
CVPR2019/图像翻译：TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation几何感知的无监督图像到图像的翻译
ssshyeong的博客
06-23 1219
提出了一个新的解纠缠和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说，我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后，翻译分别建立在外观和几何空间上。......
数据驱动的自动驾驶虚拟测试方法
最新发布
NewCarRen的博客
07-30 745
在数据驱动虚拟测试的范围内，我们采用了符合 ISO 21448 规定的预期功能安全（SOTIF）概念的车辆系统 “风险” 概念，涉及整体系统按规定的相关安全贡献以及运行设计域内的动态环境，而非 ISO 26262 意义上的单个组件故障所产生的风险。对于不同的传感器模态，考虑不同的传感器特定特性。这种方法需要系统且协调的现实世界数据采集方法，以高度自动化的方式处理数据，提供标注、元数据，并融合来自不同来源的数据，如外部交通数据、车辆内部数据、传感器 / 感知数据以及与自动驾驶安全评估相关的环境条件。
VLA：自动驾驶的“新大脑”？
MonkeyDhouzi的博客
07-25 1338
VLA 是自动驾驶系统的一次范式转变，它让车不只是“能动”，而是“能懂”。 但要真正实现“像人一样开车”，我们还需要更多的数据、更强的算力、更成熟的工程能力——以及时间。
具身智能 && 自动驾驶相关岗位的技术栈与能力地图
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
07-30 569
【代码】具身智能 && 自动驾驶相关岗位的技术栈与能力地图。
51c自动驾驶~合集9
whaosoft~aiotの开发板商城
07-27 949
轨迹预测是自动驾驶系统的关键组成部分，它连接了上游的感知模块和下游的规划模块。准确预测周围交通参与者未来的运动，需要对未知的意图进行推理，因为驾驶行为本质上具有不确定性和多模态特性。大多数现有的数据驱动运动预测模型采用模仿学习（imitative）方法，要么直接回归轨迹，要么基于训练数据集中的数据分布对终点进行分类。然而，这些方法通常对驾驶行为的考虑不足，限制了其可解释性和可靠性。
Datawhale 科大讯飞AI大赛（模型蒸馏）
1ncludeSteven
07-27 1363
使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。
AI算法实现解析-C++实例
keny-大成的博客
07-29 1722
本文摘要： 本文汇总了基于C++实现的多种AI/机器学习技术，涵盖计算机视觉、自然语言处理和强化学习等领域。主要内容包括： 计算机视觉： 目标检测（YOLOv3/YOLO Tiny） 人脸识别（OpenCV Haar级联/OpenFace） 图像风格迁移（OpenCV DNN模块） 特征匹配（SIFT/Lucas-Kanade光流） 自然语言处理： 文本分类（朴素贝叶斯/TF-IDF） 语言模型（N-gram/Word2Vec） 文本生成（LSTM/GRU） 情感分析（FastText/深度学习） 强化学习
SpringAI入门及浅实践，实战 Spring‎ AI 调用大模型、提示词工程、对话记忆、Adv‎isor 的使用
WDJ54068923的博客
07-28 1195
本文摘要： 文章系统介绍了Spring AI中关于提示词工程（Prompt）与对话记忆的核心知识点。提示词工程部分详解了提示词的基本概念与分类（基于角色/功能），并总结了14条优化技巧，强调清晰指令、结构化输出和任务拆解等关键点。对话记忆部分展示了通过ChatClient实现多轮对话的多种方式，包括构造器注入、建造者模式、不同响应格式（ChatResponse/实体对象/流式返回）以及动态提示词模板的应用。全文通过代码示例直观呈现了Spring AI处理AI交互的核心技术方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3Ｄ视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值