大语言模型能应用在自动驾驶上吗？最新综述分享

最新推荐文章于 2025-12-06 17:45:00 发布
转载 最新推荐文章于 2025-12-06 17:45:00 发布 · 164 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247570645&idx=1&sn=a7de6c4e0ddb3f4e7fb21693c1ffd042&chksm=ceb9f91cf9ce700a7507ea108ff0fb6e4e1ad6a56c69843f27f3419e05ddba494860546c3271&scene=126&sessionid=0
文章标签：

#语言模型 #自动驾驶 #人工智能 #自然语言处理 #机器学习

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心邀请来了上海交通大学在读博士生Jay Young！为大家分享自动驾驶大语言模型应用的最新综述，一览前沿！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

直播作者为『自动驾驶之心知识星球』特邀嘉宾，PPT和视频将在星球内公布！

9b3004886b0080c4822d90e5aa03a7d5.png

2) 哔哩哔哩关注自动驾驶之心，预约直播

42e9264259a084177ca806dcc9a9ebd1.png

自动驾驶之心B站

【自动驾驶之心】又一个朋友来啦！分享每一天值得关注的干货~

未来之路：大模型技术在自动驾驶的应用与影响
黎国溥
11-12 4000
本文深入探讨了大模型技术在自动驾驶领域的应用和影响。文中首先概述了大模型技术的发展历程，自动驾驶模型的迭代路径，以及大模型在自动驾驶行业中的作用。接着，详细介绍了大模型的基本定义、基础功能和关键技术，特别是Transformer注意力机制。文章还探讨了大模型在任务适配性、模型变革和应用前景方面的潜力。在自动驾驶技术的部分，详细回顾了从CNN到RNN、GAN，再到BEV和Transformer结合的技术迭代路径，以及占用网络模型的应用。最后，文章重点讨论了大模型如何在自动驾驶的感知、预测和决策。
大模型在自动驾驶领域的应用和存在的问题
cuijiying的博客
12-29 1999
大模型在自动驾驶领域有着巨大的潜力，但也面临着计算资源、数据质量、可解释性等多方面的挑战。随着技术的不断进步，尤其是在计算能力、数据处理和算法优化方面的突破，自动驾驶技术的成熟和普及将指日可待。解决这些问题将是推动自动驾驶技术真正落地的重要步骤。
大模型在自动驾驶领域是怎么应用的？最新综述一览
2401_85375186的博客
08-02 1339
大语言模型（LLMs）是在海量文本语料库上训练的人工智能模型，具备卓越的语言理解和生成能力，正在改变自动驾驶（AD）领域。随着自动驾驶系统从基于规则和优化的方法向基于学习的技术（如深度强化学习）发展，它们正蓄势待发，准备接纳第三个也是更高级的类别：由LLMs赋能的基于知识的自动驾驶。这一转变有望使自动驾驶更接近人类驾驶水平。然而，将LLMs集成到自动驾驶系统中在实时推理、安全保障和部署成本方面带来了挑战。
使用大语言模型生成自动驾驶指令代码可行吗？
zhishi0000的博客
07-19 823
大语言模型最近太火了，大家都在各个方向上应用它。自动驾驶也是当下一个热门领域，两个热门领域的结合自然非常令人期待。AIGCer在读了一些相关文献后，感觉在自动驾驶这个热点方向上应用大语言模型，也将是一个很有前途的方向。这里AIGCer分享一个基于大语言模型的自动驾驶规划任务新框架LaMPilot。它重新思考规划任务为一个利用已有的行为原语的代码生成过程。这种方法旨在解决解释和执行用户指令（如“overtake the car ahead”）的难题，这些指令通常会给现有框架带来困难。
自动驾驶将驶向何方？大模型（World Models）自动驾驶综述
自动驾驶实战
08-02 2264
自动驾驶系统的开发是一个技术与哲学的双重挑战，核心在于模拟人类的直觉推理和常识。尽管机器学习在模式识别上取得了进展，但在复杂情境下仍存在局限。人类决策基于感官感知，但能预见行动结果和预判变化，这是机器难以复制的。世界模型是解决这一差距的关键，它模仿人类的感知和决策，使系统能预测和适应环境。这一概念从70年代的控制理论发展而来，与模型预测控制（MPC）紧密相关，并受到心理模型理论的支持。神经网络的发展，尤其是循环神经网络（RNN），为动态系统建模提供了新深度，促进了对环境交互的理解。
2024自动驾驶(多模态)大模型综述：从DriveGPT4、DriveMLM到DriveVLM、DriveMM
热门推荐
结构之法 算法之道
08-12 2万+
​ 本文主要涉及以下4篇paper的解读(按发表的时间顺序排列) DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving DriveLM: Driving with Graph Visual
世界模型在塑造自动驾驶中的作用：综述
yorkhunter的博客
03-05 2474
25年2月来自华中理工和百度的论文“”The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey“。 驾驶世界模型 (DWM) 专注于预测驾驶过程中的场景演变，已成为实现自动驾驶一个有前途的范例。这些方法使自动驾驶系统能够更好地感知、理解和与动态驾驶环境交互。本综述全面概述 DWM 的最新进展。根据预测场景的模态对现有方法进行分类，并总结它们对自动驾驶的具体贡献。此外，还回顾 DWM 研究范围内针对不同任务的
LMDrive: 采用大语言模型的闭环端到端自动驾驶
yorkhunter的博客
06-12 1223
23年12月来自香港中文大学、商汤科技、InnoHK 感知交互智能中心、多伦多大学和上海AI实验室的论文“LMDrive: Closed-Loop End-to-End Driving with Large Language Models“。
自动驾驶中的视觉-语言-动作模型：综述
yorkhunter的博客
07-26 2333
27年6月来自 MacGill 大学、清华、小米、Wisconsin 大学和 Minnesota 大学的论文“A Survey on Vision-Language-Action Models for Autonomous Driving”。 多模态大语言模型 (MLLM) 的快速发展为视觉-语言-动作 (VLA) 范式铺平了道路，该范式将视觉感知、自然语言理解和控制集成到单一策略中。自动驾驶研究人员正在积极地将这些方法应用到汽车领域。此类模型有望使自动驾驶（AD）汽车能够解释高级指令、推理复杂交通场景并
大模型概念及其在人工智能多领域应用实践综述
03-20
其他说明：文中通过具体的例子展示了大模型的强大之处，不仅局限于理论阐述，还包括实际案例分析，如大模型在智能客服、智能家居、自动驾驶等方面的应用情况。这对于希望通过实际应用加深理解的人士而言是非常有
《感知革命：扩散模型+大语言模型重塑自动驾驶安全体系——实时性、开放世界与持续进化的工程实践》
qq_30377315的博客
07-13 1061
自动驾驶安全系统迎来革命性突破：Waymo事故报告显示83%的事故源于视觉感知缺陷和长尾场景处理失败。最新研究提出"DIVA+LLM"融合架构，通过扩散模型修复视觉缺陷（暴雨场景识别准确率提升18.2%）、LLM实现场景推理、四元数优化SLAM效率（计算速度提升4倍）。AIDE引擎构建自动化数据闭环，长尾场景解决率从62%提升至89%。系统响应时间缩短至89毫秒，紧急场景处理成功率最高达98.7%，标志着自动驾驶安全从被动防御转向主动进化的新阶段。
三分钟了解自动驾驶中视觉Transform应用：视觉Transoform自动驾驶综述
自动驾驶实战
08-04 1181
Transform架构是一项突破性创新，通过利用注意力机制进行序列处理，标志着从传统循环层的转变。它由两个主要部分组成：编码器和解码器。编码器通过多头注意力和前馈网络处理输入嵌入，两者都通过层规范化和残差连接得到增强。解码器结构与编码器相似，也聚焦于编码器输出，生成最终的输出序列。位置编码在此架构中至关重要，因为它们使模型能够识别序列顺序，这一关键特性是Transform本身无法辨别词序的。此功能对于把握语言上下文至关重要，使得位置编码成为Transform设计的基本组成部分。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 1036
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
自动驾驶汽车黑客攻击：如何保障车联网安全？
2501_94360410的博客
12-02 1197
随着自动驾驶技术从L2级辅助驾驶向L4/L5级完全无人驾驶迈进，汽车已不再是单纯的机械交通工具，而是融合了传感器、人工智能算法、5G通信和云计算的"移动智能终端"。车联网（V2X）技术让车辆与车辆（V2V）、基础设施（V2I）、云端（V2N）实时交互，实现协同感知与决策。然而，这种高度互联的特性也使自动驾驶汽车成为黑客攻击的"高价值目标"——一旦车载系统被攻破，不仅可能导致隐私泄露，更可能引发交通事故甚至系统性瘫痪。如何保障车联网安全，已成为自动驾驶商业化落地的关键挑战。
DiffVLA：视觉语言引导的扩散规划在自动驾驶中的创新与实践
m0_65010824的博客
12-03 899
本文是对论文《DiffVLA: Vision-Language Guided Diffusion Planning for Autonomous Driving》的深度解读。在端到端自动驾驶领域，BEV计算昂贵、动作多样性不足及复杂场景次优决策是关键挑战。RB团队（Bosch、清华大学等联合）提出DiffVLA框架，融合VLM引导、混合稀疏 - 稠密感知与扩散规划模块，在NavSim v2私有测试集获 45.0 扩展 PDMS，2025 自动驾驶挑战赛表现优异，为端到端自动驾驶提供高效解决方案。
VADv2：基于概率规划的端到端矢量化自动驾驶
m0_65010824的博客
12-03 926
本文是对论文《VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning》的深度解读。在端到端自动驾驶领域，驾驶规划的不确定性与非确定性始终是核心挑战。华中科技大学与地平线机器人团队提出的 VADv2，创新性地将概率建模用于连续规划动作空间，以多视角图像序列为输入，经场景编码与概率规划输出动作分布并采样控车，仅用相机就在 CARLA Town05 基准实现 SOTA 闭环性能，无需规则包装器即可稳定运行。
用MATLAB和Simulink实现自动驾驶汽车ACC与CACC建模协同
最新发布
2508_94252247的博客
12-06 1379
使用MATLAB和Simulink的自动驾驶汽车建模acc cacc自适应巡航协同在自动驾驶领域，自适应巡航控制（ACC）和协同自适应巡航控制（CACC）是非常关键的技术。MATLAB和Simulink为我们提供了强大的工具来对这两种控制策略进行建模和协同仿真。
Lift, Splat, Shoot：自动驾驶多视图相机的 BEV 语义表示学习
m0_65010824的博客
12-04 778
本文是对论文《Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D》的深度解读。在自动驾驶感知领域，如何从多视图相机数据中构建统一且精准的BEV表示是核心挑战。论文团队提出的Lift-Splat-Shoot架构，通过 “提升 - 融合 - 规划” 三步流程，实现端到端BEV语义提取，突破传统多视图融合局限，为纯视觉自动驾驶感知提供关键技术路径。
FSD入华“加速”中国自动驾驶产业的推动与重构
lmj1689120的博客
12-03 632
FSD入华将促进中国自动驾驶产业从"跟跑"到"并跑"甚至"领跑"的转变，为中国智能网联汽车产业的高质量发展注入新的活力
大模型结合自动驾驶 综述
05-28
<think>好的，用户想了解大模型在自动驾驶中的应用综述或研究进展。首先，我需要回顾之前提供的四个引用内容，确保回答准确并涵盖关键点。用户可能希望了解大模型在自动驾驶中的具体应用领域、技术挑战和未来方向。首先，根据引用[1]，大模型在决策制定中的应用包括车辆控制、多任务决策、个性化辅助和导航规划。需要详细说明每个方面，比如LLMs如何处理复杂场景。引用[2]提到世界模型，特别是Ha和Schmidhuber的工作，这部分需要解释世界模型如何提升环境理解和预测能力。引用[3]强调行为预测和路径规划，这里可以结合深度学习模型的应用案例。引用[4]讨论了未来的技术方向，如模型压缩和可解释性，这部分需要作为未来展望。接下来，用户的问题可能涉及技术挑战，比如实时性、数据融合和安全性。需要将这些挑战分点列出，并引用对应的文献支持。例如，实时性问题可以联系引用[3]中的决策过程，数据融合可以提到多模态数据处理，安全性则涉及引用[4]的可解释性技术。 未来趋势部分需要结合引用[4]的混合精度量化和可解释性，同时引用[2]的世界模型发展，说明仿真训练的重要性。此外，可能需要补充一些其他研究进展，比如多模态大模型的应用，但要注意当前引用中没有提到，所以可能需要避免超出已有内容。 用户可能还希望了解具体的案例或方法，比如端到端系统（引用[1]）、世界模型的具体架构（引用[2]）、强化学习的应用（引用[3]）。需要确保每个部分都有对应的引用标注，例如在讨论行为预测时引用[3]。最后，生成的相关问题需要围绕用户的需求展开，可能涉及技术细节、比较分析、挑战和实际应用案例。需要确保问题具有针对性，能够引导用户深入探讨感兴趣的方向。检查是否所有数学公式都正确使用$...$或$$...$$格式，比如在路径规划中提到优化模型时是否需要公式，但当前内容中可能没有涉及数学表达式，所以暂时不需要。但如果有，比如路径规划的损失函数，需用$L=...$格式。最后，确保回答结构清晰，分点明确，引用自然，并且语言流畅，符合中文表达习惯。</think>### 大模型与自动驾驶结合的技术综述与研究进展 #### 一、大模型在自动驾驶中的核心应用方向 1. **环境理解与场景建模** 大模型（如World Models）通过混合密度网络和循环神经网络（RNN），从多模态感知数据中提取环境特征，构建动态场景模型。例如，Ha和Schmidhuber提出的世界模型能预测车辆在复杂交通场景中的潜在状态变化[^2]。此类模型解决了传统方法对人工标注数据的依赖，提升了系统对道路拓扑、障碍物行为的理解能力。 2. **决策与路径规划** - **行为预测**：基于历史驾驶数据和实时感知信息，大模型（如Transformer）可预测行人、车辆等交通参与者的意图，例如通过注意力机制分析多目标轨迹相关性[^3]。 - **路径优化**：利用深度强化学习（DRL）框架，结合$Q_{\text{learning}}$算法，动态生成满足安全性、舒适性、效率等多目标的路径。公式表示为： $$ \max_{\pi} \mathbb{E}_{\pi} \left[ \sum_{t=0}^{T} \gamma^t R(s_t, a_t) \right] $$ 其中$R(s_t, a_t)$为状态-动作奖励函数[^3]。 3. **端到端自动驾驶系统** 大语言模型（LLMs）被集成到端到端架构中，直接处理原始传感器输入（如摄像头、激光雷达）并输出控制指令。例如，通过视觉语言模型（VLM）解析交通标志与语义地图，实现更人性化的驾驶策略[^1]。 --- #### 二、关键技术挑战 1. **实时性与算力需求** 大模型的参数量通常超过百亿级别（如GPT-3），需部署轻量化技术（如模型剪枝、混合精度量化）以满足车载计算平台的实时性要求[^4]。 2. **多模态数据融合** 如何有效融合视觉、雷达、高精地图等多源异构数据仍待突破。现有方法采用跨模态注意力机制，但长尾场景（如极端天气）的泛化性不足[^2]。 3. **安全性与可解释性** 大模型的“黑箱”特性可能导致决策过程不可追溯。当前研究尝试通过**显著性图**（Saliency Maps）可视化模型关注区域，例如在紧急制动场景中定位关键感知特征[^4]。 --- #### 三、未来研究方向 1. **仿真训练与虚实迁移** 基于世界模型的仿真引擎可生成高保真虚拟场景，加速算法迭代。例如，Waymo的Carcraft平台利用生成式模型合成罕见事故场景[^2]。 2. **个性化驾驶辅助** LLMs通过分析驾驶员历史行为（如变道频率、刹车力度），提供定制化驾驶建议，同时平衡法规约束与用户偏好[^1]。 3. **车路协同与群体智能** 探索大模型在车联网（V2X）中的应用，实现多车协同路径规划。例如，通过联邦学习框架共享局部模型参数，提升全局交通流效率[^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值