自动驾驶大模型---轻舟智行的端到端方案

最新推荐文章于 2026-01-05 22:00:00 发布
原创 最新推荐文章于 2026-01-05 22:00:00 发布 · 1.5k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动驾驶 #人工智能 #机器学习

1 背景

        在之前的博客中笔者提到过，理想的入门智驾方案来自于轻舟智行，高阶方案自研。轻舟智行也是比较早的推出时空联合规划的团队之一。

        关于大模型/端到端，笔者也已经写了一个系列，其中主要包括以下几篇（持续更新）：

        《大模型---Deepseek LLM大语言模型原理》

        《大模型---一文看懂视觉语言大模型VLM》

        《大模型实战---人人都可以部署LLM大语言模型》

        《

了解本专栏 订阅专栏 解锁全文
自动驾驶大模型---小米&华科的ORION端到端方案
智能汽车人的博客
05-26 1819
本文介绍了小米汽车与华中科技大学联合开发的ORION自动驾驶端到端方案。该框架创新性地将视觉语言模型(VLM)与自动驾驶系统结合，包含QT-Former特征提取模块、大语言模型(LLM)推理模块和生成式规划器三大核心组件。通过视觉感知与语言理解的深度融合，ORION能更准确地理解人类指令并生成合理轨迹，同时提升系统的可解释性。实验证明，该方案在准确性、泛化能力和决策透明度方面均有显著优势。ORION框架为自动驾驶技术提供了新思路，有望推动行业向更安全、智能的方向发展。
自动驾驶大模型---聊聊地平线的HSD
智能汽车人的博客
10-02 1453
本文介绍了地平线在自动驾驶领域的技术进展，重点分析了其HSD（Horizon SuperDrive）系统。HSD基于2023年CVPR最佳论文UniAD的端到端架构，通过BEV特征提取、智能体跟踪、轨迹预测等模块实现从图像输入到轨迹输出的全流程处理。系统采用强化学习训练，具备低延时响应、防御性驾驶和拟人化操控等特点，能智能应对施工区绕行、复杂路口等场景。相比传统模块化方案，HSD的一段式端到端设计显著提升了自动驾驶的安全性和舒适性，展现了接近DeepSeek R1的"智能涌现"能力。
规划是自动驾驶的“头脑”
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
08-09 1331
这就是​​视觉定位（Visual Localization）或相机重定位（Camera Relocalization）​​的核心任务：给一张查询图片，找出它在已知场景（一个带坐标信息的图片数据库）中的精确位置和朝向（6自由度姿态：3D位置 + 3D旋转）。如果后续要做严谨的“科学实验”或重要的“工程建造”，就不能完全相信这个“魔术”的结果，要么弄清楚魔术是怎么变的（控制它），要么只用它来活跃下气氛（辅助探索），关键部分还得靠可靠的“工具”和“图纸”（传统可控方法）。融合后的结果能不能用来做后续的严肃分析？
自动驾驶大模型---Waymo的EMMA大模型
智能汽车人的博客
07-17 1377
自动驾驶大模型EMMA：基于Gemini的端到端多模态创新 Waymo研发的EMMA是基于谷歌Gemini多模态大语言模型（MLLM）开发的自动驾驶创新模型。该模型通过端到端训练处理传感器数据，生成未来轨迹并做出避障决策，将MLLM的应用拓展到自动驾驶领域。EMMA的创新性体现在：1）利用Gemini的"世界知识"增强复杂环境应对能力；2）采用链式思维推理提升决策可解释性；3）通过视觉问答方法统一处理多种驾驶任务。实验显示EMMA在多个基准测试中表现优异，但仍面临3D传感器整合不足、计算
自动驾驶大模型--- LightEMMA
智能汽车人的博客
09-18 973
密西根大学开源了LightEMMA自动驾驶大模型，这是一种基于视觉语言模型（VLMs）的轻量级端到端多模态方案。该模型整合前视摄像头、历史驾驶数据和语言输入，采用思维链提示策略输出推理信息和轨迹。研究评估了12个开源/商业VLMs在nuScenes数据集上的表现，发现虽然VLMs具备场景理解能力，但在实际驾驶任务中仍存在局限性。文章指出当前模型存在导航信息缺失、摄像头输入单一、轨迹不平滑及推理延迟等问题，需进一步优化才能满足量产需求。项目代码已在GitHub开源。
自动驾驶大模型---BEVDriver
智能汽车人的博客
09-28 904
本文介绍了一种新型自动驾驶模型BEVDriver，该模型结合大型语言模型（LLM）的推理能力和鸟瞰图（BEV）特征的空间表示，实现端到端闭环驾驶。BEVDriver通过BEV编码器融合多视角图像和激光雷达点云，并利用LLM生成未来轨迹点。实验结果表明，BEVDriver在LangAuto基准测试中表现优异，驾驶分数比现有最优方法高出35.1%。该模型在开环评估和泛化能力方面也优于其他方法，但在处理距离指令时存在不足。未来将重点提升模型的鲁棒性、时间感知能力和可解释性。
自动驾驶大模型---香港科技大学之BEVGPT
智能汽车人的博客
08-11 1073
BEVGPT提出了一种基于生成式预训练Transformer的自动驾驶统一框架，将预测、决策和运动规划整合到单一模型中。该框架仅以鸟瞰图(BEV)作为输入，采用两阶段训练：先通过大规模数据预训练因果Transformer获得场景预测能力，再通过在线微调优化运动规划。实验表明，该模型在Lyft Level5数据集上100%决策指标和66%运动规划指标优于现有方法，并能实现6秒长期场景预测。创新点包括简化输入表征、集成关键模块、优化轨迹平滑性，为自动驾驶系统提供了更高效的解决方案。（149字）
自动驾驶大模型---香港科技大学之DSDrive
智能汽车人的博客
12-17 1549
本篇博客主要介绍了香港科技大学提出的DSDrive自动驾驶方案，主要还是依赖QWen多模态模型的能力，属于VLA那一派，但DSDrive是基于闭环测试做的实验，目前基于闭环实验的自动驾驶大模型很少，这一点还是值得肯定的。至于模型的输入，输出以及结构，差别不是特别大，DSDrive还用了一个蒸馏，和理想小鹏的有些相似，确保模型部署能够提升推理的实时性。
51c自动驾驶~合集64
whaosoft~aiotの开发板商城
01-04 450
推理时，DriveLaW-Video 首先将历史帧、文本提示等编码为潜在特征并进行去噪生成视频，同时，其中间层的潜在特征被提取出来作为关键的感知信号，连同自车状态、高层指令一起输入给 DriveLaW-Act，后者通过流匹配（Flow Matching）生成最终的平滑轨迹。一个完全预训练的生成器比没有经过驾驶域预训练的生成器带来了 +3.2 PDMS 的提升，这表明更大的语料库加深了模型对驾驶物理规律的掌握，并转化为更强的规划能力，表现出明显的规模定律（scaling law）。
《自动驾驶与机器人中的slam技术:从理论到实践》笔记——ch7（4）
qq_74174950的博客
12-30 757
主要是通过激光雷达获取环境三维点云（也可以选择IMU、轮速计来进行辅助传感），软件核心模块是前端点云配准帧间匹配、实现相邻点云的对齐（可以先找到最近邻（暴力最近邻、栅格和体素法、二分树与k-d树、四叉树和八叉树），之后进行拟合（直线拟合、平面拟合））进行基础点云处理，处理完之后进行点云匹配（使用点到点ICP、点到线ICP、似然场法的匹配方法），之后利用栅格地图的方法建立子地图，可使用关键帧或者是体素的方法将子地图拼接构建成局部地图，并使用回环检测来进行地图优化。去畸变是去当前帧激光点云的畸变。
自动驾驶-人工驾驶混行在无锡典型瓶颈路段的微观-宏观耦合仿真研究
huanghm88的专栏
01-05 110
自动驾驶-人工驾驶混行交通仿真研究摘要 本研究针对无锡典型瓶颈路段，构建了自动驾驶(AV)与人工驾驶(HV)混行交通的微观-宏观耦合仿真系统。采用Python开发，结合SUMO微观仿真与宏观交通流理论，实现了多尺度交通分析。研究重点考察了梁溪大桥匝道、太湖大道交叉口等无锡典型瓶颈在不同AV渗透率下的交通特性变化。仿真结果表明：当AV渗透率达30%时，瓶颈路段通行能力提升15-22%；渗透率达70%时，拥堵延误减少40%以上。研究揭示了混行环境下AV渗透率、车联网通信能力等因素对交通效率的影响机制。
为何高阶自动驾驶偏爱 Raw Sensor？
最新发布
yuanmenghao
01-05 470
高阶自动驾驶系统普遍选择输出原始RAW数据的摄像头而非自带ISP处理的智能摄像头，这源于对信息完整性和算法自由的追求。RAW数据保留了12-14位光强信息，支持端到端AI训练和多摄协同HDR，而ISP处理会丢失动态范围并引入非线性失真。尽管RAW传输需要更高带宽（如8MP@30fps约3Gbps），但GMSL等高速接口能胜任。特斯拉、小鹏等L3+方案均采用Raw Sensor+中央ISP架构，而智能摄像头仍适用于L2及环视等场景。Raw Sensor为算法演进提供了原始信号基础，是实现真正机器视觉的关键。
小鹏汽车端到端自动驾驶技术深度研究报告
luoganttcc的博客
01-04 635
小鹏汽车发布第二代VLA系统，实现端到端自动驾驶技术重大突破。该系统创新性地去除传统"视觉-语言-动作"架构中的语言转译环节，直接从视觉信号生成动作指令，响应速度提升300%。依托3万卡云端算力集群和720亿参数基座模型，训练数据量达1亿clips，覆盖场景相当于人类驾驶65000年。配合自研图灵AI芯片(总算力2250TOPS)，在22公里复杂路况测试中实现98%智驾占比和0接管。计划2026年Q1向Ultra车型全量推送，目前已覆盖全国2595个城市无图区域。小鹏坚持"跳过
长安大学与百度达成战略合作 聚焦人工智能与自动驾驶协同创新
大力财经
12-30 354
中国科学院院士、长安大学校长李树涛，百度首席技术官王海峰，长安大学教授、西安建筑科技大学校长赵祥模，中国交通运输协会城市交通分会会长、中国交通报社原党委书记、董事长蔡玉贺，长安大学北京校友会会长季求知等出席并见证合作协议签署。12月28日，长安大学与百度公司正式达成战略合作，在古都西安举行合作签约仪式。此次签约标志着双方在产教融合、科教融汇方面迈出重要一步，随着战略合作持续推进，长安大学与百度将围绕人工智能和自动驾驶等重点方向深化协同创新，加快科研成果转化与人才培养实践，为我国科技进步与产业升级贡献力量。
自动驾驶汽车与人工驾驶汽车混行对交通影响的研究方案：基于宏观-微观耦合仿真的多场景分析
huanghm88的专栏
01-05 14
本研究提出一个宏观-微观耦合仿真框架，探究自动驾驶汽车（AV）与人工驾驶汽车（HV）混行交通的影响。通过扩展元胞传输模型（宏观）和SUMO仿真（微观），分析特定场景（如高速公路匝道、施工路段、隧道入口）在不同AV渗透率下的通行效率、拥堵机制及冲突变化。研究重点关注无信号灯交叉口的路权分配演化及高风险微观行为交互模型，探索最优AV比例。预期结果显示：协同模式AV在适当渗透率下可提升效率15%-25%，施工路段存在最佳AV比例（40%-50%），高AV渗透率交叉口可能形成"虚拟信号"通行流。
MindDrive：基于在线强化学习的自动驾驶视觉 - 语言 - 动作模型
m0_65010824的博客
12-31 761
本文是对论文《MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning》的深度解读。在自动驾驶领域，VLA模型依赖模仿学习存在分布偏移与因果混淆问题，在线强化学习应用受限于连续动作空间探索低效。该研究创新提出MindDrive框架，通过双LoRA专家架构实现语言动作动态映射，将探索转化为离散语言决策空间，基于CARLA模拟器完成在线RL训练，以轻量LLM实现优异性能。
小鹏汽车 端到端 自动驾驶 最新进展
luoganttcc的博客
01-04 292
小鹏汽车2026年1月发布端到端自动驾驶最新进展：第二代VLA系统实现视觉信号到动作指令的直接输出，反应时间缩短至80ms，北京实测全程0接管。FastDriveVLA视觉Token剪枝框架提升模型推理速度3倍，准确率保持98.5%。硬件搭载自研2250TOPS算力AI芯片，XNGP系统覆盖全国2595城，支持AI代驾和无导航Super LCC+功能。该系统计划2026年一季度量产。
德思特Q&A | GNSS模拟器如何赋能自动驾驶？聚焦HIL、多实例与精准轨迹仿真的技术优势
hongke_weixin的博客
12-31 848
德思特解决方案通过灵活硬件架构+深度场景化仿真能力，解决了GNSS测试中频段兼容性、多频并发、高动态轨迹还原等关键挑战，尤其为自动驾驶提供了低成本、高保真、全链路的测试验证支撑，加速产品研发与全球合规认证。
智能体在车联网中的应用：第37天 CARLA仿真中的端到端车道保持：基于CNN模仿学习的自动驾驶实践
IT深耕十余载，大道之简
12-31 992
本项目构建了一个完整的端到端自动驾驶训练框架，核心思想是让神经网络学会从视觉输入到控制输出的直接映射关系。数据收集模块：在CARLA环境中控制车辆行驶，同步采集摄像头图像和对应的车辆控制信号模型训练模块：使用收集的数据训练CNN模型，学习从图像到转向指令的映射函数部署验证模块：将训练好的模型部署到CARLA中，验证其车道保持性能与传统方法不同，我们的系统不包含显式的车道线检测、路径规划或控制算法，所有决策逻辑都编码在神经网络的权重中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智能汽车人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值