- 博客(60)
- 资源 (1)
- 收藏
- 关注
原创 Bench2Drive:面向闭环端到端自动驾驶的多能力基准测试
在基础模型快速扩展的时代,自动驾驶技术正迈向一个变革的门槛,端到端自动驾驶(E2E-AD)因其以数据驱动方式扩展的潜力而崭露头角。然而,现有的E2E-AD方法大多采用开环日志重放方式进行评估,以L2误差和碰撞率作为指标(例如,在nuScenes数据集中),但这并不能全面反映算法在驾驶方面的性能,这一点近期已在业界得到认可。对于那些在闭环协议下评估的E2E-AD方法,它们通常在固定路线进行测试(例如,在CARLA模拟器中的Town05Long和Longest6路线),以驾驶得分作为指标,但由于指标函数的不平滑
2025-03-13 17:26:27
1273
原创 通过几何引导的核变换器实现高效且鲁棒的2D到BEV表示学习(2206)
GKT在nuScenes验证集上实现了最先进的实时分割结果,即38.0 mIoU(在0.5米分辨率下100m×100m的感知范围)。鉴于其效率、效果和鲁棒性,GKT在自动驾驶场景中具有重要的实际价值,特别是在需要实时运行的系统中。
2024-12-19 20:55:41
2136
原创 MAPTR:在线矢量化高精地图构建的结构化建模与学习(2208)
High-definition (HD) map provides abundant and precise environmental information of the driving scene, serving as a fundamental and indispensable component for planning in autonomous driving system. We present MapTR, a structured end-to-end Transformer for
2024-12-18 21:19:58
2331
原创 数据驱动模型预测控制应用于自动驾驶车辆转向
随着自动驾驶技术的发展,对车辆控制的需求不断增加,模型预测控制(MPC)已成为工业界和学术界广泛研究的话题。基于车辆运动学或动力学的现有MPC控制方法面临诸如建模困难、参数众多、强非线性、高计算成本等挑战。为了解决这些问题,本文采用了一种现有的。这种方法。我们通过CarSim-Simulink仿真在特定场景下验证了算法的控制效果,并与PID和车辆运动学MPC进行了比较分析,确认了其在车辆转向控制方面的可行性和优越性。索引术语—数据驱动控制、自动驾驶车辆转向、模型预测控制、路径跟踪。
2024-12-13 19:39:31
2650
原创 双重AEB:将基于规则的方法与多模态大型语言模型相结合,以实现有效的紧急制动(202410)
Automatic Emergency Braking (AEB) systems are a crucial component in ensuring the safety of passengers in autonomous vehicles. Conventional AEB systems primarily rely on closed-set perception modules to recognize traffic conditions and assess collision ris
2024-12-10 19:37:13
2598
原创 层归一化(201607)
这段文字讨论了深度神经网络训练中的一个优化技术——层归一化(Layer Normalization)。训练成本:训练最先进的深度神经网络需要大量的计算资源,这使得训练过程非常昂贵。归一化的重要性:为了减少训练时间,可以通过归一化神经元的活动来实现。归一化有助于稳定训练过程,加速收敛。批量归一化(Batch Normalization):这是一种通过计算一个mini-batch中所有训练案例的输入总和的均值和方差,然后使用这些统计数据来归一化每个训练案例中该神经元的输入总和的技术。
2024-09-11 20:23:05
3858
原创 带相对位置表示的自注意力(201803)
完全依赖于注意力机制,Vaswani 等人在 2017 年引入的在机器翻译方面取得了最先进的成果。与循环和卷积神经网络不同,它在其结构中没有明确地模拟相对或绝对位置信息。相反,它需要在其输入中添加绝对位置的表示。在这项工作中,我们提出了一种替代方法将自注意力机制扩展到有效地考虑序列元素之间相对位置或距离的表示。在 WMT 2014 英语到德语和英语到法语的翻译任务中,这种方法分别比绝对位置表示提高了 1.3 BLEU 和 0.3 BLEU。
2024-09-08 23:45:20
3883
原创 ChauffeurNet:通过模仿最佳驾驶和合成最坏情况进行学习驾驶
我们的目标是通过模仿学习训练一个足够强大的自动驾驶策略,以驾驶真实车辆。我们发现,即使是利用感知系统对输入进行预处理,以及利用控制器在汽车上执行输出,标准的模仿学习也不足以应对复杂的驾驶场景:即使有3000万个示例仍然不够。我们提出让学习者接触到以专家驾驶的扰动形式合成的数据,这创造了有趣的情况,如碰撞和/或驶离道路。我们不仅仅模仿所有数据,而是用额外的损失来增加模仿损失,这些损失惩罚不良事件并鼓励进步——这些扰动为这些损失提供了一个重要的信号,并导致学习模型的鲁棒性。
2024-09-05 20:20:40
4080
原创 告别关于基于学习的车辆运动规划的误解(PDM-Closed)
nuPlan的发布标志着车辆运动规划研究的新时代,它提供了第一个大规模的真实世界数据集和评估方案,这些方案要求同时进行精确的短期规划和长期的自我预测。现有的系统很难同时满足这两个要求。事实上,我们发现这些任务在根本上是不一致的,应该独立处理。我们进一步评估了该领域当前的闭环规划状态,揭示了基于学习方法在复杂真实世界场景中的局限性,以及简单的基于规则的先验(如通过车道图搜索算法选择中心线)的价值。
2024-09-03 19:28:11
4367
原创 PLUTO: 推动基于模仿学习的自动驾驶规划的极限
PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous DrivingPLUTO: 推动基于模仿学习的自动驾驶规划的极限https://arxiv.org/abs/2404.14327AbstractWe present PLUTO, a powerful framework that Pushes the Limit of imitation learning-based planning for
2024-09-02 20:46:54
5396
原创 PlanT:通过对象级表示的可解释规划变换器
在复杂环境中规划最优路线需要对周围场景进行高效的推理。虽然人类驾驶员会优先考虑重要的物体并忽略与决策无关的细节,但基于学习的规划器通常从包含所有车辆和道路环境信息的密集、高维网格表示中提取特征。在本文中,我们提出了PlanT,这是一种新颖的自动驾驶规划方法,它使用标准的Transformer架构。PlanT基于模仿学习,使用紧凑的对象级输入表示。在CARLA的Longest6基准测试中,PlanT的表现超越了所有先前的方法(与专家的驾驶得分相匹配),同时在推理过程中比等效的基于像素的规划基线快5.3倍。
2024-08-30 11:08:40
3808
原创 UniAD_面向规划的自动驾驶
现代自动驾驶系统以顺序执行的模块化任务为特点,即感知、预测和规划。为了执行多样化的任务并达到高级智能水平,当代方法要么为每个单独任务部署独立模型,要么设计具有不同分支的多任务模型。然而,这些方法可能会遇到累积误差或任务协调不足的问题。相反,我们认为应该设计并优化一个有利的框架,以实现最终目标,即自动驾驶汽车的规划。为此,我们重新审视了感知和预测中的关键组件,并优先考虑任务,以确保所有这些任务都能促进规划。我们提出了统一自动驾驶(UniAD),这是一个集成了全栈驾驶任务的全面框架。它精心设计,
2024-08-18 22:51:13
4850
原创 车辆横向控制的参考路径估计
Autonomous driving cars have been a hot topic in the media in recent years, with more and more tech companies and universities presenting projects with fully automated vehicles. Most of these vehicles rely on highly sophisticated and expensive sensors that
2024-08-16 19:37:02
3981
原创 基于轨迹的汽车跟随系统横向控制方法
摘要:在车辆跟随场景中,沿着安全路径驾驶自动驾驶汽车的一个关键任务是横向控制。这种的感官是。出现了以下问题:由于前导车辆与自动驾驶的自车(ego-vehicle)之间的距离,。使用。给定一个系统,它可以提供,人们可以利用这些信息来。此外,还需要。一旦完成这种转换,。知道了,就可以。这种简单的方法显著。这种算法已成功应用于低速下的自动驾驶车辆编队行驶。关键词:自动驾驶系统,横向控制,路径跟随,车辆跟随,计算机视觉。
2024-08-15 14:24:59
4317
原创 交通拥堵辅助与自动化
交通拥堵是那些高度自动化能带来巨大好处的情况。此外,交通拥堵的相对简单情况意味着在不久的将来可以期待实现高度自动化。本章详细探讨了设计用于协助交通拥堵的辅助和自动化系统的动机、条件和版本。将讨论交通拥堵辅助和自动化系统的不同自动化级别,例如交通拥堵辅助系统和自动跟随系统的设计。此外,介绍了最先进系统的HMI(人机交互)概念,并讨论了它们对可控性和接管场景的影响。最后,考虑了法律状况和因此的市场推广方面。
2024-08-13 18:35:54
3952
原创 ADAPT:动作感知驾驶字幕转换器
(a) 输入为车辆前置摄像头视频,输出为预测的车辆控制信号以及当前动作的叙述和推理。我们首先从视频中密集且均匀地采样T帧,这些帧被送入可学习的Swin Transformer视频编码器并被标记化为视频标记。不同的预测头分别生成最终的运动结果和文本结果。(b)和©分别显示了预测头。在这个框架中,视频帧的采样是为了捕捉车辆前方视角的关键视觉信息,这些信息对于理解车辆的动态和周围环境至关重要。
2024-08-05 15:57:40
3383
原创 端到端自动驾驶:挑战与前沿
端到端自动驾驶系统大致可以分为两个阶段将状态编码为潜在特征表示然后使用中间特征解码驾驶策略。在城市驾驶中,输入状态,即周围环境和自车状态,与常见的策略学习基准(如视频游戏[18, 174])相比,更加多样化和高维,这可能导致表示与决策制定所需关注区域之间的不一致。因此,设计“良好”的中间感知表示或首先使用代理任务预训练视觉编码器是有帮助的。这使网络能够有效地提取驾驶所需的有用信息,从而促进后续的策略阶段。此外,这可以提高强化学习方法的样本效率。
2024-08-02 19:54:36
5240
原创 用于仅摄像头闭环驾驶的视觉语言模型
在这份技术报告中,我们介绍了CarLLaVA,这是一个为CARLA自动驾驶挑战赛2.0开发的用于自动驾驶的。CarLLaVA使用了LLaVA VLM的视觉编码器和LLaMA架构作为骨干,,在的情况下,。此外,我们还展示了在预测驾驶输出的同时预测语言评论的初步结果。CarLLaVA,同时,利用路径优势实现更好的横向控制,利用航点优势实现更好的纵向控制。我们提出了一种,可以。在CARLA自动驾驶挑战赛2.0的传感器赛道上,CarLLaVA排名第一,。
2024-08-02 19:35:16
3829
原创 VADv2:通过概率规划的端到端矢量化自动驾驶
从的,。在这项工作中,为了,我们提出了VADv2,这是一种。VADv2以流式方式,将传感器数据,并。仅使用相机传感器,VADv2在CARLA Town05基准测试中实现了最先进的闭环性能,显著优于所有现有方法。它以完全端到端的方式稳定运行,甚至没有基于规则的包装器。闭环演示可以在https://hgao-cv.github.io/VADv2上查看。
2024-07-30 15:40:06
2763
原创 VAD: 向量化场景表示,用于高效的自动驾驶
自动驾驶需要全面理解周围环境以实现可靠的轨迹规划。以前的工作依赖于密集的光栅化场景表示(例如,代理占用和语义地图)来进行规划,这在计算上很复杂,并且缺少实例级别的结构信息。在本文中,我们提出了VAD,这是一种端到端的向量化自动驾驶范例,它将驾驶场景建模为完全向量化的表示。VAD利用向量化的代理运动和地图元素作为显式的实例级规划约束,这有效地提高了规划的安全性。与传统的端到端规划方法相比,VAD通过消除计算密集型的光栅化表示和手工设计的后处理步骤,运行速度更快。
2024-07-26 19:40:57
2902
原创 nuPlan 是一个针对自动驾驶车辆的闭环机器学习(ML-based)规划基准测试(中文)
在这项研究中,我们首次提出了一个。尽管基于机器学习的运动规划器日益增多,但缺乏成熟的数据集和评价指标限制了该领域的发展。现有的自动驾驶车辆运动预测基准主要集中在短期运动预测上,而不是长期规划。这导致以往的研究采用基于 L2 指标的开环评估,这并不适用于长期规划的公正评价。我们的基准测试通过引入和来克服这些限制。我们提供了一个高质量的数据集,包含了来自美国和亚洲4个城市(波士顿、匹兹堡、拉斯维加斯和新加坡)的1500小时人类驾驶数据,这些地区交通模式差异显著。
2024-07-11 19:33:15
3076
原创 nuPlan 是一个针对自动驾驶车辆的闭环机器学习(ML-based)规划基准测试
在这项研究中,我们首次提出了一个闭环的基于机器学习的自动驾驶规划基准测试。尽管基于机器学习的运动规划器日益增多,但缺乏成熟的数据集和评价指标限制了该领域的发展。现有的自动驾驶车辆运动预测基准主要集中在短期运动预测上,而不是长期规划。这导致以往的研究采用基于 L2 指标的开环评估,这并不适用于长期规划的公正评价。我们的基准测试通过引入大规模的驾驶数据集、轻量级的闭环模拟器和专门针对运动规划的度量标准来克服这些限制。
2024-07-11 19:29:47
3013
原创 Hydra-MDP: 端到端多模态规划与多目标 Hydra 蒸馏(中文)
我们提出了 Hydra-MDP,这是一种新颖的范式,它采用了中的。这种方法利用和的教师的来,该模型具备一个,用以,以。通过基于规则的教师的知识,Hydra-MDP 以端到端的方式,而不是诉诸于不可微分的后处理步骤。这种方法在 Navsim 挑战赛中荣获第一名,显示了其在多样化的驾驶环境和条件下的泛化能力有显著的改进。相关代码将在 GitHub 上公开,项目链接为。
2024-07-11 18:42:57
2865
原创 Hydra-MDP: 端到端多模态规划与多目标 Hydra 蒸馏
我们提出了 Hydra-MDP,这是一种新颖的范式,它采用了中的。这种方法利用和的教师的来,该模型具备一个,用以,以。通过基于规则的教师的知识,Hydra-MDP 以端到端的方式,而不是诉诸于不可微分的后处理步骤。这种方法在 Navsim 挑战赛中荣获第一名,显示了其在多样化的驾驶环境和条件下的泛化能力有显著的改进。相关代码将在 GitHub 上公开,项目链接为。
2024-07-11 18:39:24
2909
原创 单一设备上的 2 级自动驾驶:深入探究 Openpilot 的奥秘(中文)
如下:1.我们在现实世界场景中测试了Openpilot系统,并得出结论,它确实可以在单一视觉设备上实现L2级别的自动驾驶。2.我们从头开始重新激活Openpilot的训练阶段,设计了Openpilot中Supercombo的网络结构,并在公共数据集上测试了我们重构的模型。OP-Deepdive与原始模型相当。3.这份技术报告作为研究社区在最终驾驶任务的规划和控制方面的端到端系统设计的起点,从工业大规模到消费者产品的角度来看。
2024-07-09 18:49:52
3265
原创 单一设备上的 2 级自动驾驶:深入探究 Openpilot 的奥秘
目前,我们采用人类驾驶员的轨迹作为“真实轨迹”。这不是一个糟糕的选择。然而,
2024-07-09 18:39:01
2164
原创 使用距离传感器数据预测驾驶路线(BOSCH)
将距离传感器检测到的车辆分配到相对于本车的车道是未来驾驶辅助系统(如自适应巡航控制 (ACC))的一项重要且必要的任务。通过车辆前方物体的集体运动可以预测车辆自身的行驶路线。该方法不仅使用主车的数据来确定其自身的轨迹,还使用距离传感器的数据(提供车辆前方物体的距离和角度)来确定这些物体的轨迹。算法是使用离线模拟开发的,该模拟由从真实 ACC 车辆获得的记录数据提供。结果显示,与仅基于主车数据的其他方法相比,预测的行驶路线质量显著提高。
2024-06-12 15:53:21
1263
1
原创 强制并道场景中自动驾驶车辆的交互感知轨迹预测和规划
一般来说,并道对于人类驾驶员和自动驾驶车辆来说都是一项具有挑战性的任务,特别是在交通密集的情况下,因为并道车辆通常需要与其他车辆交互以识别或创造间隙并安全地并入。在本文中,我们考虑强制并道场景下的自动车辆控制问题。我们提出了一种新颖的博弈论控制器,称为。
2024-04-03 13:18:53
1482
原创 基于前车换道意图的自适应巡航控制目标车辆选择算法(中文)
为了提高传统自适应巡航控制(ACC)系统在前车换道时的乘坐舒适性和安全性,提出一种基于前车换道意图预测的目标车辆选择算法。首先,利用下一代仿真数据集训练基于滑动窗口支持向量机的换道意图预测算法,通过横向位置偏移来识别当前车道前车的换道意图。其次,根据前车换道意图和碰撞威胁,研究了。
2024-03-21 14:03:20
1100
原创 基于前车换道意图的自适应巡航控制目标车辆选择算法
为了提高传统自适应巡航控制(ACC)系统在前车换道时的乘坐舒适性和安全性,提出一种基于前车换道意图预测的目标车辆选择算法。首先,利用下一代仿真数据集训练基于滑动窗口支持向量机的换道意图预测算法,通过横向位置偏移来识别当前车道前车的换道意图。其次,根据前车换道意图和碰撞威胁,研究了。
2024-03-21 13:34:20
560
原创 基于模型的强化学习电动汽车经济驾驶控制(中文)
随着自动驾驶汽车的发展,节能环保驾驶的研究变得越来越重要。确定车辆速度曲线以最小化能量消耗的最优控制问题是一个具有挑战性的问题,需要考虑各个方面,例如。
2023-11-23 16:26:22
332
原创 基于模型的强化学习电动汽车经济驾驶控制
ABSTRACT With the development of autonomous vehicles, research on energy-efficient eco-driving is becoming increasingly important. The optimal control problem of determining the speed profile of the vehicle for minimizing energy consumption is a challengin
2023-11-23 15:02:15
337
原创 基于最小化原则的电动汽车高速公路节能驾驶(中文)
如今,乘用车车载导航系统中的数字地图使控制器能够获取计划路线的详细信息。配备高计算能力的联网自动车辆能够处理数据并利用自动化提供的高控制自由度。本文提出了一种高速公路巡航场景下电动汽车节能驾驶的快速优化算法。该算法基于最优控制理论,并。
2023-11-22 15:15:55
237
原创 基于最小化原则的电动汽车高速公路节能驾驶
如今,乘用车车载导航系统中的数字地图使管制员能够获取计划路线的详细信息。配备高计算能力的联网自动车辆能够处理数据并利用自动化提供的高控制自由度。本文提出了一种高速公路巡航场景下电动汽车节能驾驶的快速优化算法。该算法基于最优控制理论,并考虑了道路坡度以及速度限制和前车安全车距所施加的状态约束。使用 Autonomie,通过模拟两个示例场景来评估所提出的算法。第一个结果显示节能潜力为 4.4%。索引术语——节能驾驶、高速公路巡航、最低化原则、电动汽车、联网自动驾驶汽车、状态约束。
2023-11-22 13:58:29
731
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人