UniAD-端到端自动驾驶大模型学习笔记

已于 2024-11-18 15:43:56 修改
阅读量203 收藏
点赞数
分类专栏： 自动驾驶 文章标签： 学习 笔记
于 2024-10-20 16:34:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaomu_347/article/details/143093302
版权

        UniAD是2023年由中科院和清华大学团队提出的一篇关于自主驾驶的研究论文，重点探讨了如何通过规划导向的学习框架来解决传统端到端自主驾驶中感知、预测和决策分离的问题。其主要贡献是提出了一种新的规划导向的神经网络架构，以更好地将感知、规划和控制整合在一起，从而提高端到端自主驾驶的性能和可靠性。

论文链接：https://arxiv.org/abs/2212.10156

GitHub：GitHub - OpenDriveLab/UniAD: [CVPR 2023 Best Paper Award] Planning-oriented Autonomous Driving

整个网络结构如下：

下面对真个网络结构进行详细解析&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
自动驾驶---自动驾驶端到端的一般形态
智能汽车人的博客
04-10 1389
自动驾驶大模型的出现就是为了解决传统算法难以解决的问题，下面笔者从自动驾驶大模型的架构阐述其基本框架。本篇博客先介绍传统的端到端思路，在框架上其实和原有感知框架差不太多，多的是最后一层，在原有BEV特征或者OCC特征的基础上，增加一个单独的任务Head用于轨迹解码。
自动驾驶大模型---小米&华科的ORION端到端方案
最新发布
智能汽车人的博客
05-26 1352
本文介绍了小米汽车与华中科技大学联合开发的ORION自动驾驶端到端方案。该框架创新性地将视觉语言模型(VLM)与自动驾驶系统结合，包含QT-Former特征提取模块、大语言模型(LLM)推理模块和生成式规划器三大核心组件。通过视觉感知与语言理解的深度融合，ORION能更准确地理解人类指令并生成合理轨迹，同时提升系统的可解释性。实验证明，该方案在准确性、泛化能力和决策透明度方面均有显著优势。ORION框架为自动驾驶技术提供了新思路，有望推动行业向更安全、智能的方向发展。
一个模型解决所有类别的异常检测
jin__9981的博客
08-18 1728
本文主要是介绍无监督缺陷检测算法UniAD的相关内容及使用方法
UniAD模型结构
jie0402666的博客
09-23 816
主要代码：/UniAD/Projects/mmdet3d_plugin/uniad/dense_heads/panseg_head.py -- PansegformerHead。用 BEVFormer 中的 bev_encoder 来生成 bev，img_backbone 是 ResNet，img_neck 是 FPN。最后，Planner使用来自MotionFormer的表达性自车查询来预测规划结果，并通过避开OccFormer预测的占用区域来避免碰撞。OccFormer具体代码。
UniAD：自动驾驶的统一架构 - 创新与挑战并存
数据与算法架构提升之路专栏
04-11 941
UniAD代表了自动驾驶架构设计的一次重要尝试，它打破了传统模块化系统的边界，探索了更紧密集成的可能性。从学术角度看，UniAD在nuScenes等基准测试上的出色表现证明了这种方法的潜力。然而，从工程实现角度来看，UniAD距离量产应用仍有相当距离。
UniAD_面向规划的自动驾驶
真诚的灰灰的博客
08-18 5827
现代自动驾驶系统以顺序执行的模块化任务为特点，即感知、预测和规划。为了执行多样化的任务并达到高级智能水平，当代方法要么为每个单独任务部署独立模型，要么设计具有不同分支的多任务模型。然而，这些方法可能会遇到累积误差或任务协调不足的问题。相反，我们认为应该设计并优化一个有利的框架，以实现最终目标，即自动驾驶汽车的规划。为此，我们重新审视了感知和预测中的关键组件，并优先考虑任务，以确保所有这些任务都能促进规划。我们提出了统一自动驾驶（UniAD），这是一个集成了全栈驾驶任务的全面框架。它精心设计，
自动驾驶端到端模型UniAD代码详解-motion&occ部分
weixin_43915081的博客
03-10 981
scene_level_offset_xxx就是各目标在主车坐标系下的轨迹坐标，与每个目标自身坐标之间的offset，也就是scene_level_xxx = scene_level_offset_xxx + 各目标在主车坐标系下的坐标，本质上是agent->scene坐标转换时，没有平移（rotation），只是做了旋转（translation）参考轨迹在第一层中，来源于scene_level_offset_anchors，在后续的layer的处理过程中会不断的被更新。
自动驾驶统一框架UniAD
weixin_38257276的博客
06-22 1239
论文地址：https://arxiv.org/pdf/2212.10156.pdf论文代码：https://github.com/OpenDriveLab/UniAD 当前自动驾驶主要有两种模型训练方案：（1）一个任务一个模型，这种方法性能一般会更好，如Fig.(a)（2）多任务网络，通过共享backbone，添加多个预测头实现多个任务，这种方法会节省计算资源，如Fig.(b)，但是可能会受到累积错误（我的理解是比如跟踪的稳定性与目标检测的准确性是有关系的）或者任务之间的干扰影响（任务与任务之间），因此作者
2024自动驾驶行业报告-端到端渐行渐近.pdf
04-23
文中分析了多家领先企业的端到端自动驾驶解决方案，如特斯拉的FSD V12、Wayve的多模态模型、元戎启行的DeepRoute IO、商汤科技的UniAD以及小鹏汽车的XNet感知神经网络等。此外，报告还强调了端到端自动驾驶面临的...
学习笔记---自动驾驶
hzlalb的博客
09-03 942
通过共享底层特征提取网络，模型可以更有效地学习到对所有任务都有用的通用特征，同时通过特定于任务的网络层来处理每个任务的独特需求。这通常意味着网络中有一部分是共享的，用于提取对所有任务都有用的特征，而网络的某些部分则是特定于每个任务的，用于处理与特定任务相关的信息。- 硬参数共享：在网络的底层使用相同的参数（权重和偏置）来处理所有任务，而在网络的高层为每个任务设计特定的层，这些层的参数不共享。：在网络的适当位置融合来自不同任务的特征，这有助于模型学习到更丰富的表示，从而提高每个任务的性能。
自动驾驶大模型算法助力端到端顺利落地
小明师兄的博客
08-08 1522
FSD效果惊艳，Robotaxi迈向现实 2024年3月FSD V12.3推出，解决复杂场景能力大幅提升，驾驶体验平顺丝滑拟人化程度高。FSD开始从“测试版”晋级为“监督版”，并面向所有北美车主免费试用30天。随后马斯克在社交媒体上表示将在8月8日推出Robotaxi功能，自动驾驶即将真正带来汽车商业模式的变革。FSDV12是一个端到端算法，对算力和数据需求激增，马斯克表示到2024年底将累计投入100亿美金在算力和数据领域，到2024年底总算力规模有望突
UniAD:以规划为导向的端到端自动驾驶
JJ-Li的博客
04-26 1335
UniAD:以规划为导向的端到端自动驾驶，Planning-oriented Autonomous Driving
UniAD解读
ioir123juuki的博客
06-17 2930
引入了统一自动驾驶（UniAD），这是一个最新的综合框架，它将全栈驾驶任务集成在一个网络中。任务通过统一的查询接口进行沟通，以便于彼此进行规划。
自动驾驶端到端模型UniAD代码详解-感知部分
weixin_43915081的博客
03-09 1325
UniAD作为端到端自动驾驶的开创性模型，具有不错的学习意义，学习1个模型，相当于以前的5个模型（track, map, motion prediction, occ, plan）^ v ^，以前也看过UniAD的代码，今天抽时间又把它回顾总结一下，作为记录，希望对大家也能有所帮助。
UniAD：实现多类别异常检测的统一模型
学姐带你玩AI的博客
06-04 2153
来源：投稿 作者：Mr.Eraser编辑：学姐用于多类异常检测的统一模型提出UniAD，它以一个统一框架完成了多个类别的异常检测。提出分层的查询解码器来帮助建立多类分布的模型。采用邻居屏蔽的注意力模块，以进一步避免从输入特征到重构输出特征的信息泄漏。提出一种特征抖动策略，即使在有噪声输入的情况下也能敦促模型恢复正确的信息。
自动驾驶革命：商汤科技突破性大模型UniAD震撼登场
软件攻城狮
07-10 779
商汤科技的UniAD，不仅是一项创新性的技术，更因其巨大的潜力和应用价值，在学术界和工业界引起了广泛关注。随着通用人工智能的进一步发展，我们有理由相信，更高阶的自动驾驶人工智能将在不久的将来成为现实。它不仅能更好地协助行车规划，确保车辆行驶的可靠性和安全性，更具有极大的应用落地潜力和价值，为自动驾驶的未来发展打开了一扇大门。商汤科技的UniAD，通过融合五大核心模块，解决了自动驾驶中"规划"的难题。无论是在拥堵的城市路段，还是在复杂的十字路口，UniAD都能凭借其先进的感知和决策能力，做出精准的行车决策。
自动驾驶框架 UniAD环境部署
h904798869的博客
04-27 6462
UniAD环境部署。统一自动驾驶框架 (UniAD) ，第一个将全栈驾驶任务整合到一个深度神经网络中的框架，并可以发挥每个子任务以及各个模块的优势，以执行安全的规划。
让端到端智驾算法从梦想照进现实——自动驾驶大模型 ， 一个模型全都搞定
auto_mooc的博客
06-27 936
这是一个统一的自动驾驶算法框架，利用五个基本任务来实现一个安全和强大的系统，UniAD的设计理念是面向planning。UniAD中的关键组件是基于query的设计来连接所有节点。随着深度学习的成功发展，自动驾驶算法被集成了一系列任务，包括perception中的detection、tracking和mapping，以及prediction中的motion、occupancy预测。为了统一任务，提出了一种基于query的设计来连接UniAD中的所有节点，从而在环境中受益于agent交互的更丰富的表征形式。
端到端 - UniAD: Planning-oriented Autonomous Driving - 以规划为导向的自动驾驶（CVPR 2023）
77wpa的博客
08-23 2269
现代自动驾驶系统的特点是按顺序执行模块化任务，即感知、预测和规划。为了执行各种各样的任务并实现高级智能，当代方法要么为单个任务部署独立模型，要么设计一个具有独立头部的多任务范式。然而，他们可能会出现累积错误或任务协调不足。相反，我们认为应该设计并优化一个有利的框架，以实现最终目标，即自动驾驶汽车的规划。为此，我们重新审视了感知和预测中的关键组成部分，并对任务进行了优先级排序，以便所有这些任务都有助于规划。
端到端自动驾驶大模型思路
03-28
### 端到端自动驾驶大模型的设计思路 端到端自动驾驶大模型旨在通过单一神经网络完成从传感器数据输入到车辆控制输出的全过程，减少中间的人工干预和模块划分。这种设计能够显著提升系统的效率和鲁棒性。以下是关于端到端自动驾驶大模型设计的一些核心要点： #### 设计原则 端到端自动驾驶模型遵循整体优化的原则，将传统的感知、预测、规划和控制等多个独立模块融合为一个统一的整体。例如，在2023年8月，小马智行推出了一种新的端到端自动驾驶模型，该模型不仅适用于L4级别的高度自动化驾驶场景，还可以降级用于L2级别辅助驾驶系统[^1]。 #### 核心架构 端到端智能驾驶的感知部分是整个系统的关键环节之一，它负责处理来自摄像头、激光雷达和其他传感器的数据，并将其转化为结构化的环境表示。这些表示可以包括但不限于目标检测、语义分割以及三维场景重建等内容。相比于传统分立式的功能分解方式，现代端到端感知模型利用深度学习技术实现了特征提取至最终决策之间的全链条自动操作过程[^2]。 #### 具体实现案例分析——LMDrive 在最新的研究进展方面，《CVPR 2024》上发表的一篇名为《LMDrive：基于大模型的闭环端到端自动驾驶》的文章介绍了如何构建一种高效的端到端自驾车解决方案。文章中的表格显示了一系列针对不同组件所做的消融测试结果表明每一个组成部分对于整体表现都至关重要不可缺失任何一个部件都会导致性能下降情况发生[^3]。 另外一篇文献探讨了以路径规划为核心的另一种类型的端到端框架。在这个例子当中引入了一个叫做“命令嵌入”的概念来帮助解决缺乏精确地图信息条件下仍需执行复杂任务的需求。具体来说就是把初始导航指令转换成了三个可训练向量形式即所谓的‘命令嵌入’，它们与代表自我车俩当前状况的信息共同组建成一个新的查询对象—我们称之为“计划查询”，这个新形成的查询会进一步作用于鸟瞰视角下的空间特性之上从而推导出未来轨迹点位置坐标序列[^4]。 ```python class EndToEndAutonomousDrivingModel(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(EndToEndAutonomousDrivingModel, self).__init__() self.perception = nn.Sequential( nn.Conv2d(input_dim, hidden_dim, kernel_size=3), nn.ReLU(), ... ) self.planning_query = nn.Embedding(num_embeddings=3, embedding_dim=hidden_dim) self.decoder = nn.Linear(hidden_dim, output_dim) def forward(self, sensor_data, command_embedding_index): features = self.perception(sensor_data) planning_query = self.planning_query(command_embedding_index).unsqueeze(-1).unsqueeze(-1) combined_features = torch.cat([features, planning_query], dim=-1) waypoints = self.decoder(combined_features.flatten(start_dim=1)) return waypoints ``` 上述代码片段展示了一个简化版的端到端自动驾驶模型类定义，其中包含了感知层、命令嵌入生成器以及最后的解码器三大部分。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaomu_347

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值