量产VLM是怎么工作的？聊聊DriveVLM和自动驾驶大模型~

最新推荐文章于 2025-11-05 04:15:45 发布
转载 最新推荐文章于 2025-11-05 04:15:45 发布 · 528 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247647568&idx=3&sn=99a258a1263667eee034487681a1045d&chksm=cf43727406e16539a3ac2b43ead5456bc7141302b3541a9288dab6c2a8d6490c66061ab0c576&scene=126&sessionid=0
文章标签：

#自动驾驶 #人工智能 #机器学习

国内端到端的技术路线已经明确：就是端到端+大模型！据自动驾驶之心了解，除了理想，像长安/小鹏都宣称大模型上车了。智能座舱和具身智能这块也是当下非常火爆的方向。未来大模型除了指导快系统外，像数据挖掘、标注等等应该都值得进一步探索。

拼团优惠立减130！

62d2d867a1e10fb58d411ee56b833202.png

这里也推荐下平台最新的多模态大模型课程，课程从通用多模态大模型，到大模型微调，最终在聚焦在端到端自动驾驶多模态大模型，基本上面试的东西课程里面都有介绍。课程大纲如下：

9a54140eec0801de65a76cd554d64da2.png


课程内容一览

第一章：多模态大模型介绍

第一章主要介绍多模态大模型的基础概念，在整体上帮助同学们了解多模态大模型，打开大模型之路的大门。老师从多模态算法的概念出发，延伸到多模态大模型的结构&训练范式及公开数据集的介绍。在整体上对多模态大模型有一定了解后，我们会进一步聊聊实际的应用场景，让大家对未来可能从事的工作方向和工作内容有一定的了解，最后老师会介绍咱们课程的整体框架及预期的实战学习成果。

77d23b1bb3ec65db2bdf25a9a96f05ce.jpeg

第二章：多模态大模型的基础模块

第二章正式进入多模态大模型的基础模块学习。老师会首先介绍多模态大模型的整体架构。模态编码器是什么？Input Projector有什么作用？LLM Backbone是什么？Output Projector又用来做什么？最后的Modality Generator又如何应用到具体的模态生成？在这一章都会得到解答！

a948d358a5b913fed6c13bb87ff1a545.png

第三章：通用多模态大模型

第三章聚焦于通用多模态大模型的讲解与实战。作为多模态大模型下游应用的基石，可以说没有通用多模态大模型的蓬勃发展，就不会有当下大模型应用百花齐放的局面。这一章节老师选取了五个算法展开详细介绍：涵盖了图文理解、视频理解、任意模态、轻量大模型以及实战-统一视觉任务大模型算法，即兼顾了学术界又兼顾了学术界。这一章老师将会带领同学们真正进入多模态大模型的世界。

6dfa6f44c0a712d21a86596f29dbf0a4.png

实际效果：

d72146a34d84a84c016e7ebbafff8c8b.jpeg

第四章：多模态大模型微调与强化学习

第四章则聚焦于业内应用最广泛的微调与强化学习技术。如果把通用多模态大模型比作大树的枝干，那么微调技术则是大模型开枝散叶的核心技术。这一章老师首先会做一个训练策略的概述，微调到底微调个啥？接下来则会进入六篇论文的精讲和实战，涉及Adapter、LoRA、QLoRA、Reward Model+PPO、KTO和实战算法DPO，这一章仍会兼顾学术界和工业界，学完这一章，你将有能力训练面向特定业务需求的多模态大模型。

9c174227c0f2956077693831b9808bff.png

第五章：多模态大模型在自动驾驶中的应用

在讲解完通用大模型和微调技术后，第五章则聚焦于多模态大模型在自动驾驶中的应用，尤其是在端到端自动驾驶中的应用。老师选取了五个最有代表性的算法一一讲解，其中包含理想端到端自动驾驶量产方案参考的算法DriveVLM！在这一章，大家将会掌握最前沿的端到端自动驾驶大模型，为后面就业和升学增添助力！

9b0f416d8e30aa4673f2b5a7a2b6ba65.png

第六章：多模态大模型求职专题

有了前面五个章节的技术积累，第六章咱们进入求职专题！这一章都是实打实老师工作多年的经验积累。业内有哪些公司？毕业应该从事什么方向？未来发展如何？多模态大模型当下应用的瓶颈在哪里？哪些问题是面试公司真正关心的？我们又该如何准备面试？在这一章你都讲得到答案！

d84f7108876c2c7e20049077da2365c3.png

适合人群

  • 高校研究人员与学生；

  • 初创企业技术团队；

  • 企业技术专家、骨干；

  • 想要转行从事大模型的同学；

讲师介绍

Sora老师，业内一线大厂高级算法工程师。研究方向多模态大语言模型、Agent等，从事座舱大模型落地和端到端大模型落地工作。在算法设计、模型部署、工程化落地上具有丰富经验，参与过国内、国外多个车厂与车型的poc及sop交付量产项目。

课程收获

  • 掌握通用大模型的核心理论与微调技术；

  • 掌握自动驾驶大模型在学术界&工业界的前沿算法；

  • 具备大模型微调&部署的实际能力；

  • 应用大模型解决实际问题的能力；

  • 提升科研&工作核心竞争力。

课程所需基础

  • 一定的深度学习与大模型基础；

  • 了解Transformer模型结构

  • Python和PyTorch基础，具备代码读写的能力；

  • 需要自备GPU，显存不低于12G；

课程咨询

拼团优惠立减130！

dacdfd7ef974ac549d910fbf1cac7efd.png

欢迎咨询小助理了解更多！

3fa66301683a8b84786cc70f5c0fd3b3.jpeg



版权声明

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！

投诉微信：AIDriver004(备注：盗版举报)

自动驾驶大模型---视觉语言模型（VLM）与双系统融合
智能汽车人的博客
05-09 1230
DriveVLM是理想汽车联合清华赵行团队研发的自动驾驶系统方案，它通过结合视觉语言模型（VLMs）来提升对复杂交通场景的理解和规划能力，是理想汽车最新一代端到端+VLM智驾方案的核心构成。DriveVLM 的设计理念是模仿人类驾驶员在复杂环境中的决策过程，通过模拟“思维链”（Chain-of-Thought）机制，实现对场景的深入理解和策略规划。该系统由三个关键的推理模块组成：场景描述、场景分析和分层规划。场景描述模块能够用语言描述驾驶环境并识别场景中的关键对象。
论文阅读DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
yang_daxia的博客
04-11 1617
DriveVLM是一种结合了自动驾驶技术和大型视觉语言模型（VLMs）的系统，旨在提高自动驾驶车辆在复杂和长尾场景下的理解能力和规划能力。该系统通过引入一种特殊的思维链（Chain-of-Thought，CoT）推理过程，将场景描述、场景分析和层级规划三个关键模块结合起来，以对应传统的感知、预测和规划流程。此外，DriveVLM-Dual作为一种混合系统，结合了DriveVLM和传统自动驾驶流程的优势，以弥补VLM在空间推理和计算需求方面的局限性。
小米开源MiDashengLM-7B：音频大模型效率革命与全场景落地
最新发布
gitblog_00879的博客
11-05 923
在多模态AI竞赛白热化的2025年，小米集团抛出重磅开源成果——**MiDashengLM-7B**音频语言模型。这款基于Xiaomi Dasheng音频编码器与Qwen2.5-Omni-7B解码器的创新融合模型，不仅在22个国际公开评测集上刷新最佳成绩，更以**20倍吞吐量提升**和**4倍首Token延迟优化**，重新定义了音频理解大模型的效率标准。作为小米"人车家全生态"战略的核心AI引擎，...
DriveVLM
whaosoft143ai的博客
02-23 897
要想构建完全的自动驾驶系统，人们面临的主要挑战是 AI 的场景理解，这会涉及到复杂、不可预测的场景，例如恶劣天气、复杂的道路布局和不可预见的人类行为。具体来说，3D 感知仅限于检测和跟踪熟悉的物体，忽略了罕见物体及其属性， 运动预测和规划则关注物体的轨迹动作，通常会忽略物体和车辆之间的决策级交互。最近清华大学交叉信息研究院、理想汽车提交的新论文中，作者提出了 DriveVLM，受到最近生成式 AI 领域兴起的视觉语言模型（VLM）启发，DriveVLM 在视觉理解和推理方面表现出了非凡的能力。whaosof
FASIONAD：自适应反馈的类人自动驾驶中快速和慢速思维融合系统——论文阅读
qq_54556560的博客
05-14 1010
2024年11月，来自清华大学、早稻田大学、明尼苏达大学、多伦多大学、厦门大学马来西亚分校、电子科技大学（成都）、智平方科技和河南润泰数字科技的研究团队发表了一篇题为《FASIONAD & FAstandSlowFusION Thinking Systems for Human-Like Autonomous Driving with Adaptive Feedback》的论文。该论文提出了一种创新的双系统框架FASIONAD，旨在解决自动驾驶系统在罕见长尾事件中的鲁棒性问题。
DRIVEVLM（快慢系统）
qq_35975367的博客
04-02 1083
为了全面评估模型的性能，我们关注其对驾驶场景的理解和做出的决策。因此，我们的评估包括两个方面：场景描述 / 分析评估和元动作评估。
DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
Talk is cheap, show me the code!
02-23 4015
清华&理想 | DRIVEVLM：自动驾驶和大型视觉语言模型的融合最新SOTA！
51c自动驾驶~合集58
whaosoft~aiotの开发板商城
06-09 1598
在处理超长上下文（如 64K 和 128K）任务时，CCA-LLM 的 EM 得分超越了标准自注意力机制，同时推理速度也显著提升——在 128K 上下文长度下，推理速度达到标准自注意力方法的 7.9 倍，展现出其在高效长文本建模方面的突出优势。b) 树形优势值估计 (Tree-based): 在长思维链场景下，MC 估计的代价很高，团队提出了一种高效的树形估计方法：将采样轨迹组织成树形结构，通过自底向上的奖励聚合计算状态价值（V 值），同一个父节点的子节点形成一个组，在组内计算每个段的优势值。
51c自动驾驶~合集54
whaosoft~aiotの开发板商城
03-12 1890
在车道拓扑提取任务中，我们预测一个密集的邻接矩阵，用于表示车道线段和交通元素之间的关系。具体来说，车道线段之间的关系由矩阵A∈Rm×m表示，车道线段与交通元素之间的关系由矩阵A∈Rm×n表示，其中m和n分别是车道线段和交通元素的数量。尽管密集视觉提示可以实现高性能，但其高昂的成本、环境影响和低效的推理速度使其不适用于实时应用。因此，我们采用链式推理（Chain-of-Thought, COT）方法，仅对稀疏的边缘情况进行密集视觉提示，从而提高推理效率。
51c自动驾驶~合集55
whaosoft~aiotの开发板商城
05-25 1799
我们研究了标记化和表示技术，关注 VLA 对视觉和语言信息的编码。谷歌在 2023 年推出 RT-2，作为里程碑式的 VLA 模型，统一视觉、语言和动作标记，将机器人控制视为自回归序列预测任务，使用离散余弦变换（DCT）压缩和字节对编码（BPE）离散化动作，使新对象处理性能提高 63%。VLA 模型作为多模态人工智能系统，统一视觉感知、语言理解和物理动作生成，使机器人或 AI 智能体通过端到端学习解释感官输入、理解情境并自主执行任务，弥合早期系统中视觉识别、语言理解和运动执行间的脱节，突破其能力限制。
51c自动驾驶~合集57
whaosoft~aiotの开发板商城
06-03 1409
多目标多头蒸馏模块：我们看到轨迹模仿学习之后的轨迹还过了其他的MLP，这就是其他头，它的目标也是不一样的，第一个是跟碰撞相关的，第二个是跟行驶区域相关的，第三个是跟舒适度相关的，也就是说不同的评判指标都有一个teacher，之前的模仿学习就是人类的teacher，那么这些teacher是怎么来的呢？本文作者提出的新的范式，就是规划模块是多模的输出，同时，目标也是多样性的，即不仅是GT的轨迹也同时引入了更多的正样本，由不同的专家给出的。还是那句话，小米汽车的成功，是小米价值观，小米模式，和小米方法论的成功。
51c自动驾驶~合集11
whaosoft~aiotの开发板商城
12-06 1608
2015年，图森未来(TuSimple)成立，专注卡车无人驾驶研发，一直是中自动驾驶明星企业、处于第一梯队。2021年4月15日，上市纳斯达克上市，成为全球第一个自动驾驶上市企业，因为完善的技术体系和成熟的解决方案，在美国运营的无人卡车运营业务遭到美国政府制裁，也是第一家被美国制裁的自动驾驶企业，2024年1月17日，被迫从纳斯达克退市。
经典文献阅读之--DriveVLM(自动驾驶与大型视觉语言模型的融合)
lovely_yoshino的博客
07-13 1万+
本文介绍了DriveVLM：自动驾驶与大型视觉语言模型的融合。城市环境中自动驾驶的一个主要障碍是理解复杂且长尾的场景，例如具有挑战性的路况和微妙的人类行为。为此，本文引入了DriveVLM，这是一种利用视觉语言模型（VLMs）增强场景理解和规划能力的自动驾驶系统。DriveVLM集成了用于场景描述、场景分析和分层规划的思维链（CoT）模块的独特组合。
直接干上车！DriveVLM：首个Orin部署的快慢双系统智驾大模型（清华&理想）
CV_Autobot的博客
02-28 4988
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心为大家分享清华&理想最新的工作—DriveVLM，结合大视觉语言模型的自动驾驶新方案！如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【大模型】技术交流群论文作者|Xiaoyu Tian、Junru Gu、Bailin Li编辑 | 自动驾驶之心写在前面&笔者...
DRIVEVLM: 大视觉语言模型和自动驾驶的融合
qq_54556560的博客
05-22 1532
此外，认识到VLM在空间推理和繁重计算要求方面的局限性，我们提出了DriveVLM-Dual，这是一种混合系统，将DriveVLM的优势与传统的自动驾驶管道相结合。：DriveVLM（Qwen-VL）在场景描述（0.71分）与元动作（0.37分）上显著优于Lynx、CogVLM及GPT-4V。：通过长尾物体挖掘（CLIP搜索）、挑战场景筛选（驾驶行为方差）、关键帧标注（人工+工具辅助）构建。：分析关键物体的静态属性（如卡车载货）、动态状态（位置、速度）及特殊行为（如交警手势）。
DriveVLM 论文学习
calvinpaean的博客
09-29 1675
规划意图的场景理解定义如下。输入包括环视相机的多视图视频VV，以及可选的感知模块输出的 3D 感知结果PP。场景感知EEE：包括天气条件EweatherEweather​、时间EtimeE_{time}Etime​、道路条件EroadE_{road}Eroad​、车道条件ElaneE_{lane}Elane​。场景分析SSS：包括目标级分析和场景级摘要SSS。决策描述DDD：驾驶决策的详细描述。
2024自动驾驶(多模态)大模型综述：从DriveGPT4、DriveMLM到DriveVLM、DriveMM
热门推荐
结构之法 算法之道
08-12 2万+
​ 本文主要涉及以下4篇paper的解读(按发表的时间顺序排列) DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving DriveLM: Driving with Graph Visual
TopLiDM架构解析：DriveVLM如何融合VLM与E2E自动驾驶
MonkeyDhouzi的博客
08-11 1129
自动驾驶技术近年来在感知、规划、控制等模块上取得了显著进展，尤其是端到端（End-to-End, E2E）方法的兴起，使得从传感器输入到轨迹输出的流程更加紧凑。尽管 TopLiDM 展现出强大的语义推理与规划能力，但在实际部署与持续优化过程中，仍面临一系列技术挑战。，它们通过引入大模型的语言理解能力，使自动驾驶系统具备“解释能力”和“推理能力”，不仅能输出轨迹，还能回答“为什么这么走”。的“思维链”过程，融合视觉语言模型（VLM）与传统 E2E 模型，实现更强的语义推理与决策能力。
【大模型/多模态】VLM技术：2025年多模态全面解析，这一篇就够了。
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-11 7585
VLM技术之：一文掌握多模态
自动驾驶VLA和VLM
08-15
### VLA与VLM的核心区别 在自动驾驶领域，VLM（视觉-语言模型）和VLA（视觉-语言-动作模型）代表了两种不同层次的技术架构。VLM主要关注于环境建模，即通过视觉和语言信息对周围环境进行理解和描述。它能够识别道路、障碍物、交通标志等关键元素，并结合自然语言处理能力对场景进行语义层面的解析。例如，VLM可以理解“前方有行人过马路”这样的描述，并将其转化为对环境的认知[^1]。 相比之下，VLA则是在VLM的基础上进一步扩展，不仅关注环境建模，还涵盖了路径规划和控制策略的生成。VLA模型能够直接从视觉输入和语言指令中提取特征，并生成具体的车辆控制指令，如转向、加速或减速。这意味着VLA不仅仅是在“看懂”环境，更是在“行动”，即根据对环境的理解做出实时的决策和控制[^2]。 ### 技术应用与落地情况 在实际应用中，VLM已经被广泛用于自动驾驶系统的感知模块，帮助车辆更好地理解复杂的交通环境。例如，通过结合多模态大语言模型（MLLMs），VLA能够利用模型的世界知识分析驾驶环境，在复杂场景中进行安全决策的推理。这种方式不仅简化了系统架构，还减少了信息传递过程中的损失，提高了整体系统的效率和可靠性[^2]。 而VLA作为VLM的升级版本，正在成为自动驾驶领域的研究热点。相比于传统的端到端方案，VLA方案拥有更高的场景推理能力与泛化能力。许多智驾行业的领导者都将VLA视为当前“端到端”方案的2.0版本，并将其看作是端到端+VLM的合体。VLA的优势在于其能够通过强化学习形成“思维能力”，自主处理新场景（如未知路况），从而实现更高效的城区自动驾驶支持[^3]。 ### 技术发展趋势 随着自动驾驶技术的不断进步，VLA和VLM的应用也在不断发展。VLM在环境建模方面的表现已经非常出色，但其主要局限在于无法直接生成控制指令，需要与其他模块配合使用。而VLA则通过引入语言模态，实现了从感知到决策再到控制的全流程自动化，极大地提升了系统的智能化水平。 未来，随着深度学习和强化学习技术的进一步成熟，VLA有望在更多复杂场景中发挥作用，尤其是在城区自动驾驶领域。通过不断优化模型结构和训练方法，VLA将能够更好地应对各种突发情况，提高自动驾驶的安全性和可靠性。 ### 示例代码：VLA的基本工作流程 以下是一个简化的VLA工作流程示例，展示了如何从视觉输入和语言指令中生成控制指令： ```python import torch from transformers import CLIPProcessor, CLIPModel class VLA: def __init__(self): self.clip_model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") self.clip_processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") self.controller = torch.nn.Linear(512, 3) # 输出控制指令：转向、加速、刹车 def process_input(self, image, text): inputs = self.clip_processor(text=text, images=image, return_tensors="pt", padding=True) outputs = self.clip_model(**inputs) image_features = outputs.image_embeds text_features = outputs.text_embeds combined_features = torch.cat((image_features, text_features), dim=1) control_commands = self.controller(combined_features) return control_commands # 示例使用 vla = VLA() image = "path_to_image.jpg" # 假设这是车辆摄像头捕捉到的图像路径 text = "前方有行人过马路，请减速慢行" # 语言指令 control_commands = vla.process_input(image, text) print(f"生成的控制指令: {control_commands}") ``` 这段代码展示了VLA如何利用CLIP模型提取图像和文本的特征，并通过一个简单的线性层生成控制指令。虽然这只是一个简化的示例，但它体现了VLA的基本工作原理[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值