VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？

最新推荐文章于 2025-07-11 00:30:00 发布
最新推荐文章于 2025-07-11 00:30:00 发布
阅读量1.6k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 自动驾驶 人工智能 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247656256&idx=1&sn=80f6ba002e529b953553fadfee24ed7e&chksm=cfee9b78431e17e3002a33e48772176bfeb950ce2759813fd36aeba3b469fac40b1dd6c85a00&scene=126&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模，还需要关注规划和控制问题，这是两者的区别。

VLM的应用怎么样？

视觉语言模型在座舱域的应用可能更加直接，交互也容易些。这也是为什么座舱域更容易接入。VLM在自驾域的应用，分为辅助功能和直接预测轨迹。

理想的快慢系统给出了第一个辅助应用的答案，这一点发布会上有很清晰的描述。端到端模型速度快，大模型帧率低，无法实时交互，那么是否可以把VLM输出的结果给未来帧作为参考，提供一定的经验或者矫正，无论是特征级别还是后处理层面，相信是一个很好的辅助。地平线的Senna也给出了具体的方案，VLM的缺点是对于精确的数值预测不是很好，但是对于预测意图或者粗粒度的规划是很好的，E2E系统到现在依然无法解决一些复杂的长尾场景。Senna工作中，VLM做高层次的planning decisions，进而指引E2E系统的轨迹预测。

43d89fff54ddf4c8c683c43939d03090.png

当下公开的论文，像DriveGPT、DriveGPT4、DriveVLM、OmniDrive等任务直接输出规划或预测轨迹点信息，这一点接近了VLA本身，但存在真实场景中高质量数据收集较难、实时部署较难等一系列的问题。如果只有纯视觉输入，除了参数量，本质上可以用端到端模型来替代，但参数量上来了，模型的性能上限也会出现非常大的差异。

VLA可能有哪些优势？

可以说VLA是端到端2.0，VLA的关键特性是思维链，这一点和当下的端到端有所不同，例如潮汐车道，基于VLA的智能驾驶车辆，能通过文本等看懂可逆车道的道路标志，从多重信息中确认此时的潮汐车道是否可行驶，并通过转向灯等与其他车辆交互，随即变换车道，进行转向，最终行驶至潮汐车道中。利用类人的思维，通过对全局上下文的了解，去了解车道的情况，与其他车辆交互，并做出最优的、安全的决策。

VLA大模型直接用统一的参数处理原来的分层任务，和现在的端到端模型相似。但大模型的参数量大，微调到下游任务也比较方便。

VLA具备更强的泛化能力，这一点和具身领域比较相似，零样本、新场景的泛化能力会有明显提升。

VLA在自动驾驶中应用会有哪些难点？

高质量数据依然是瓶颈，即使是finetune，怎么解决数据分布不均衡问题，怎么减少模型本身的经验导致的错误输出？

VLA的部署，算力上支持的不是很好，英伟达的Thor也许是一个很好的解决方案，千T的算力加持。极氪自研的浩瀚智驾系统率先成为全球首款搭载英伟达Thor芯片的量产车型，期待后面的自驾公司产生更多有效、稳定的方案！

VLM/VLA在训练中可以增强端到端任务

VLM和VLA也可以很有效增强现有端到端任务，主要体现在以下部分：

提升泛化能力，处理长尾场景：通过引入LLM，E2E模型能够更好地处理罕见和复杂的驾驶场景，知识迁移可以完成长尾场景的学习，大模型的零样本能力也是值得关注的点。

丰富的语义信息，辅助推理：视觉语言模型可以生成更有解释性的结果，为E2E模型提供了丰富的语义信息，帮助模型更好地理解驾驶环境。

提高规划性能，降低轨迹误差：DiMA在nuScenes数据集上实现了37%的L2轨迹误差降低。多模的轨迹输出更符合现实需求，进而减少碰撞率：VLM-AD和DiMA均显著降低了碰撞率。

知识蒸馏助力实时部署：通过将大模型的知识蒸馏到更小的模型中，可以在保持高性能的同时显著减少计算量和模型大小。

增强可解释性：VLM-AD通过预测人类可解释的动作标签，增强了模型决策的可解释性。

减少对大规模数据集的依赖：通过LLM生成的合成数据或推理注释，可以在数据稀缺或隐私受限的场景下训练模型。 VLM可以自动生成高质量的标注数据，减少人工标注的成本和时间。

其它

后面会继续保持跟进， 补充.....

这里也推荐下我们平台打造的《多模态大模型与自动驾驶实战课程》和《具身智能VLA算法与实战教程》。课程分别聚焦在通用大模型训练&微调和具身智能VLA领域。

多模态大模型课程大纲如下：

图片

主讲老师：Sora老师，业内一线大厂高级算法工程师。研究方向多模态大语言模型、Agent等，从事座舱大模型落地和端到端大模型落地工作。在算法设计、模型部署、工程化落地上具有丰富经验，参与过国内、国外多个车厂与车型的poc及sop交付量产项目。

扫码立享拼团优惠！一起走向大模型新世界~

c931e92d2634af310988178179947317.png

具身智能VLA课程大纲如下：

a3b8604cea1ca734578a2b8fa9dc0acc.png

主讲老师：Perry老师，在智能机器人和人工智能领域具有深厚的学术背景和丰富的实践经验。曾在多个顶级会议：RSS、ICLR、CVPR、ECCV、ICRA和IROS上发表研究。丰富的具身智能实战和研究经验，运用生动的案例和互动式教学，帮助学员深入理解复杂概念，激发对该领域的兴趣与探索。

扫码立享拼团优惠！一起走向大模型新世界~

87777a63fa9c21f98594fb5d8a435b92.png

从VLM到VLA概论
xiaomu_347的博客
12-27 942
智驾视觉大模型
端到端自动驾驶VLA模型：技术解析与模型设计
a8598671的博客
03-26 2033
目前大语言模型较为成熟，因此无论是VLM或者VLA模型都是以大语言模型为基础的。MLLMs 拥有两大优势：一是训练数据来自大规模互联网，拥有广泛的“世界知识”；二是具备强大的推理能力（如 CoT chain-of-thought），这是现有驾驶模型难以具备的。EMMA 基于多模态大语言模型构建，能够直接将原始摄像头传感器数据映射为多种驾驶相关输出，包括规划轨迹、感知目标以及道路图结构等。
VLA、LLM和VLM
qq_50857609的博客
01-08 4258
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
从“看懂”到“行动”： VLM 与 VLA
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-19 904
如果说 VLM 是让机器拥有了聪明的“眼睛和大脑”，那么 VLA 就是为这台机器装上了反应敏捷的“小脑和四肢”。VLA 的核心使命，是将 VLM 产生的丰富世界理解，转化为在物理世界中精准、合理、安全的。扩散模型**等先进的生成技术，将抽象的理解转化为具体的、概率性的、多模态的动作序列。VLA 的出现，首先是一场思想上的革命，即从“模块化”转向“端到端”。VLA 的终极形态，将是在内部构建一个可以模拟物理世界的“沙盒”，即。现在，一张完整的图片就变成了一系列“视觉词汇”组成的“句子”。
VLM和VLAM（VLA）相关介绍和发展历程
qq_30708051的博客
12-28 4605
相关介绍和发展历程的内容来自于通义大模型，还是让大模型总结整理比较方便。视觉语言模型（VLM）和视觉语言动作模型（VLA）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。
具身智能端到端大模型VLA (Vision Language Action)
具身智能机器人
01-06 1万+
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
VLM/VLA模型训练与评估指南：13大开源数据集，轻松入门，记得收藏！
2401_85375151的博客
06-24 1208
本文系统梳理了自动驾驶领域视觉语言大模型（VLM）的技术框架和发展现状。典型VLM包含视觉编码器、驾驶适配器、文本编码器和LLM核心四大组件，而视觉语言驾驶模型（VLA）额外集成扩散式轨迹规划器。当前技术突破主要体现在：1）高质量数据构建，如小米通过310万驾驶数据训练Qwen2.5-VL模型；2）多阶段训练策略，包括监督微调和强化学习；3）专用评估体系发展，如DriveMLLM、AD2-Bench等基准测试。研究表明，融合场景描述、交通信号检测等6类QA问答能显著提升模型性能。
端到端自动驾驶大模型：视觉-语言-动作模型 VLA
AIgraphX
12-15 5801
随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。
机器人抓取：从深度学习、强化学习到VLA与VLM
强化学习曾小健
04-24 524
资深机器人专家，卡耐基梅隆大学博士曾作为团队的技术负责人就职于网易伏羲，阿里巴巴达摩院和新加坡科研局，成功落地过多个项目和产品。2017年在卡耐基梅隆大学获得博士学位，2010年在南洋理工大学获得学士学位，其主要研究方向为机器人与自动驾驶；在RSS，ICRA，IROS，CORL，RAL，CVPR，ACL，NeurlPS，TPAMI等会议和刊物上发表多篇论文。
MATLAB基础应用精讲-【自动驾驶】VLA模型（概念篇）（一）
最新发布
qq_36130719的博客
07-11 42
近年来，视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型的发展成为机器人动作建模研究的重要方向。这类模型通常是在大规模预训练的多模态大语言模型（Multimodal Large Language Models, MLLMs）基础上，添加一个动作输出头或专门的动作模块，以实现对动作的生成。MLLMs 在感知和决策方面表现出色，使得 VLA 模型在多种机器人任务中展现出良好的泛化能力。然而，这些模型存在一个显著的局限性：它们往往缺乏对动作本身的深入理解。
机器人大脑VLA的发展史——从微调VLM起步：详解RoboFlamingo、Octo、TinyVLA
热门推荐
结构之法 算法之道
12-01 1万+
许多研究使用从机器人收集的大量轨迹数据集来训练策略这些工作主要集中在单一的embodiment上，而Octo则在跨多个体现组装的机器人数据集上训练策略，增加了训练数据集的有效规模，并允许对多种机器人设置进行微调最近，论文集中于扩展机器人策略的泛化能力。多项研究利用多样的非机器人数据或预训练的视觉-语言基础模型来提升策略对新场景和任务的泛化能力[86,103,96,16,38,11,84,36,4,37,7,3,46,15,23]
学习端到端大模型，还不太明白VLM和VLA的区别。。。
CV_Autobot的博客
06-19 497
2、VLA更侧重Action的能力，最终目的是为了做动作，在自动驾驶中可以理解为自车轨迹预测的能力，通时预测的轨迹又要尽可能的符合人类的理解，这又进一步依赖vision和language的基本能力，比如我要解释这个行为，可以使用思维链的形式一步步推理分析，这里面依赖自动驾驶基础的感知（行人在哪里，2D坐标，3D位置等等）VLM接扩散模型就可以预测轨迹，也就是Action，这块就涉及到多模轨迹的好处了，面对不确定的环境，单模的能力有限，多模的上限是更高的。业内最全的全栈学习路线图，独家业内招聘信息分享~
可视化地思考：FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving
qq_50213874的博客
05-27 921
视觉语言模型（VLMs）因其强大的推理能力，在自动驾驶领域受到日益广泛的关注。然而，现有VLMs通常采用针对特定场景设计的离散文本思维链（Chain-of-Thought, CoT），这种表征本质上是对视觉信息的高度抽象和符号化压缩，可能导致空间-时间关系模糊以及细粒度信息丢失。自动驾驶是否更适合通过真实世界模拟与想象建模，而非纯粹依赖符号逻辑？本文提出一种时空思维链（spatio-temporal CoT）推理方法，使模型可视化地思考。首先，VLM作为世界模型生成统一图像帧以预测未来世界状态：其中感知结果
职场与思考 | 聊聊VLM/VLA和智驾新技术
CV_Autobot的博客
01-17 1050
作者|么么牛编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/17866772378点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型』技术交流群本文只做学术分享，如有侵权，联系删文VLM和VLA的区别，有点想以像L2功能，LDW和LKA，FCW和AEB的区别，一个是只...
具身智能的视觉-语言-动作模型：综述
yorkhunter的博客
05-26 4241
24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。
【具身智能算法入门】VLM/VLA 算法入门指南
kakaZhui的博客
05-10 686
人工智能的浪潮正从纯粹的语言理解和生成，涌向更广阔、更复杂的具身智能 (Embodied AI)领域。我们不再满足于让 AI 在数字世界中处理文本，而是期望它们能够感知物理世界、理解多模态信息、并基于此进行决策和行动。在这个激动人心的前沿，视觉语言模型 (Vision-Language Models, VLM)和视觉语言 Agent (Vision-Language Agents, VLA)扮演着核心角色。
谷歌 DeepMind 宣布推出 RT-2：全球第一个控制机器人的视觉 - 语言 - 动作（VLA）模型
夕小瑶科技说
07-31 2021
夕小瑶科技说 分享来源 | 机器之心给机器人发命令，从没这么简单过。我们知道，在掌握了网络中的语言和图像之后，大模型终究要走进现实世界，「具身智能」应该是下一步发展的方向。把大模型接入机器人，用简单的自然语言代替复杂指令形成具体行动规划，且无需额外数据和训练，这个愿景看起来很美好，但似乎也有些遥远。毕竟机器人领域，难是出了名的。然而 AI 的进化速度比我们想象得还要快。本周五，。现在不再用复杂指令，机器人也能直接像 ChatGPT 一样操纵了。RT-2 到达了怎样的智能化程度？
【VLA&VLM——OpenVLA】
selami的博客
07-01 713
OpenVLA提出了一种开源7B参数规模的视觉语言动作模型，解决了现有VLA模型闭源和迁移性差的问题。模型采用双视觉编码器（DinoV2+SigLIP）与Llama-7B结合的结构，通过256个离散化动作控制机器人。研究发现：1) 双视觉编码器提升空间推理能力；2) 微调视觉编码器效果显著；3) 图像分辨率对性能影响不明显。实验显示其在多平台和新任务上表现优异，LoRA微调与全参数训练效果接近但资源消耗更低。当前局限包括单传感器输入、推理速度慢(50-60%成功率)和动作离散化可能影响流畅性。该工作为VLA
VLA和VLM
03-08
<think>嗯，用户让我介绍一下VLA和VLM，这两个都是计算机视觉和自然语言处理结合领域的重要模型。首先，我需要确认这两个缩写的全称是什么。VLA应该是Vision-Language-Action，而VLM是Vision-Language Model。对吗？可能用户对这两个概念有点混淆，或者想了解它们之间的关系和区别。 接下来，我需要回忆这两个模型的基本定义和应用场景。VLM，也就是视觉语言模型，主要用于理解和生成与图像相关的文本，比如图像描述、视觉问答等。而VLA，视觉语言动作模型，可能更侧重于将视觉和语言信息结合到具体的动作或决策中，比如机器人控制、自动驾驶等需要根据视觉和语言指令执行动作的场景。 用户可能想知道它们各自的特点、应用以及区别。可能需要先分别介绍每个模型，再比较它们的异同点。比如，VLM专注于感知层面，处理视觉和语言的交互，而VLA则在感知的基础上增加了执行动作的能力，属于更复杂的系统。 还要注意用户的需求是否涉及技术细节，比如模型结构、训练方法等。不过用户只是要求介绍，可能需要保持解释的简明易懂，避免过于专业的术语，但又要准确。比如，VLM可能使用Transformer架构，通过多模态融合处理图像和文本；而VLA可能在VLM基础上加入强化学习或动作预测模块。 需要确认是否有最新的研究成果或典型模型，比如VLM中的CLIP、Flamingo，VLA中的Gato、RT-2等。举例说明可以帮助用户理解。 另外，用户可能对两者的应用场景感兴趣。比如VLM用于图像搜索、自动标注，VLA用于机器人执行复杂任务。需要明确两者的不同应用方向。 最后，总结两者的联系与区别，强调VLA在VLM的基础上增加了动作执行的能力，形成感知-决策-执行的闭环。这样用户就能清晰理解两者的定位和关系。</think>### **VLA（Vision-Language-Action）与 VLM（Vision-Language Model）介绍** #### **1. VLM（视觉语言模型）** - **定义**： VLM 是一种结合 **视觉（图像/视频）** 与 **语言（文本）** 的多模态模型，能够理解图像内容并生成相关文本描述，或根据文本指令分析视觉信息。 - **核心能力**： - **跨模态对齐**：将图像特征与文本语义关联（例如：识别图像中的狗并生成“一只金毛犬在草地上奔跑”）。 - **任务场景**： - **图像描述生成**（Image Captioning） - **视觉问答**（VQA，如“图片中有几只猫？”） - **图文检索**（用文字搜索图片，或用图片搜索文字） - **典型模型**： - **CLIP**（OpenAI）：通过对比学习对齐图像和文本特征。 - **Flamingo**（DeepMind）：支持多轮对话的视觉语言模型。 - **BLIP-2**：结合预训练视觉编码器与大语言模型（如 GPT）。 --- #### **2. VLA（视觉语言动作模型）** - **定义**： VLA 在 VLM 的基础上增加了 **动作决策与控制** 能力，形成“感知-理解-决策-执行”的闭环系统，直接将视觉和语言输入映射到物理动作。 - **核心能力**： - **多模态推理**：结合视觉、语言和环境状态，规划动作（例如：根据指令“拿起红色积木”控制机器人手臂）。 - **任务场景**： - **机器人操作**（如家庭服务机器人） - **自动驾驶**（根据路况和导航指令调整车速） - **具身智能**（智能体在虚拟/真实环境中交互） - **典型模型**： - **RT-2**（Google DeepMind）：将视觉语言模型与机器人动作策略结合，实现泛化操作能力。 - **Gato**（DeepMind）：通用多模态模型，可处理文本、图像、动作序列。 --- #### **3. 核心区别** | **维度** | **VLM** | **VLA** | |----------------|----------------------------------|----------------------------------| | **目标** | 理解视觉与语言的关系 | 将感知转化为物理动作 | | **输出** | 文本或跨模态特征 | 控制指令（如机械臂轨迹、车速） | | **应用场景** | 图像分析、内容生成 | 机器人、自动驾驶、交互式系统 | | **技术挑战** | 跨模态对齐、生成一致性 | 动作安全性、环境实时响应 | --- #### **4. 联系与趋势** - **VLA 依赖 VLM 的基础能力**：VLA 通常以 VLM 为感知层，通过强化学习或动作预测模块扩展决策能力。 - **发展方向**： - **端到端训练**：从原始输入（图像+文本）直接输出动作，减少模块分割。 - **通用智能体**：构建能适应多任务、多场景的“全能型”VLA 系统（如具身通用人工智能）。 若需进一步了解具体模型或技术细节，可随时提出！ 🚀
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值