学习端到端大模型，还不太明白VLM和VLA的区别。。。

最新推荐文章于 2025-06-28 09:46:22 发布
最新推荐文章于 2025-06-28 09:46:22 发布
阅读量179 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 学习
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247668571&idx=1&sn=8333253b01f6df9b1317f198c93b663d&chksm=cf499913a87f492b56d7412574a0403ac0e590beba248cda0dd2915c7b939477fc6771dfde61&scene=126&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

大模型已经席卷各个领域，在智能驾驶领域，VLM也正在逐渐铺开落地量产。

不少入门的小伙伴也表示，现在大模型太重要了，想要入门学习，但有点拿不准方向。

以下是知识星球里面一位同学的提问：

请问VLA和VLM的区别是什么？现在推荐学哪个呢？

这两者互为表里：

1、VLM可以理解基础的能力，可以是通用的检测、问答、空间理解、思维链等等能力

2、VLA更侧重Action的能力，最终目的是为了做动作，在自动驾驶中可以理解为自车轨迹预测的能力，通时预测的轨迹又要尽可能的符合人类的理解，这又进一步依赖vision和language的基本能力，比如我要解释这个行为，可以使用思维链的形式一步步推理分析，这里面依赖自动驾驶基础的感知（行人在哪里，2D坐标，3D位置等等）

这两者没办法完全独立的学习，我认为的方式应该是先学VLM，再去扩展到VLA

VLM接扩散模型就可以预测轨迹，也就是Action，这块就涉及到多模轨迹的好处了，面对不确定的环境，单模的能力有限，多模的上限是更高的

最后欢迎大家加入知识星球，硬核资料在星球置顶：加入后可以获取自动驾驶视频课程、硬件及代码学习资料。业内最全的全栈学习路线图，独家业内招聘信息分享~

我们目标是未来3年内打造一个万人聚集的智能驾驶&具身智能社区，这里也非常欢迎优秀的同学加入我们（目前已经有华为天才少年、自驾领域研究前沿的多为大佬加入）。我们和多家业内公司搭建了学术 + 产品+ 招聘完整的桥梁和链路，同时内部在教研板块也基本形成了闭环（课程 + 硬件+问答）。社区里面既能看到最新的行业技术动态、技术分享，也有非常多的技术讨论、入门问答，以及必不可少的行业动态及求职分享。具身智能这么火，要不要考虑转行？自动驾驶技术的未来发展趋势如何？大模型如何预自动驾驶&具身智能结合？这些都是我们持续关注的

加入后如果不满意，三天内（72h）可全额退款！

带着对技术的思考，星球主要包含四大板块：

  • 技术领域的全面分类和汇总；

  • 科研界&学术界顶级大佬直播；

  • 面向求职的资料汇总和岗位分享：

  • 直击痛点的问题解答。

下面给大家分享下业内最前沿的四大技术方向，星球都汇总了哪些内容：视觉大语言模型、世界模型、扩散模型和端到端自动驾驶。前沿文章、数据集汇总、综述归纳应用尽有~

视觉大语言模型

世界模型

扩散模型

端到端自动驾驶

星友独家权益

  1. 第一时间掌握自动驾驶相关的学术进展和量产落地应用；

  2. 免费获得100+专业嘉宾的答疑解惑（有问必答）

  3. 永久免费浏览、下载星球内容（目前近5000干货内容，每天更新）

  4. 所有自动驾驶之心的付费课程8折优惠（价值近3000元）

  5. 学术界&工业界前沿直播视频免费无限期回放（一年近100场）

  6. 免费咨询求职招聘相关问题加入

  7. 专属VIP群，获得最新资讯

【具身智能算法入门】VLM/VLA 算法入门指南
kakaZhui的博客
05-10 532
人工智能的浪潮正从纯粹的语言理解和生成，涌向更广阔、更复杂的具身智能 (Embodied AI)领域。我们不再满足于让 AI 在数字世界中处理文本，而是期望它们能够感知物理世界、理解多模态信息、并基于此进行决策和行动。在这个激动人心的前沿，视觉语言模型 (Vision-Language Models, VLM)和视觉语言 Agent (Vision-Language Agents, VLA)扮演着核心角色。
从VLM到VLA概论
xiaomu_347的博客
12-27 891
智驾视觉大模型
具身智能端到端大模型VLA (Vision Language Action)
具身智能机器人
01-06 9955
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
端到端自动驾驶大模型：视觉-语言-动作模型 VLA
AIgraphX
12-15 5651
随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。
端到端VLA模型架构：让机器“知行合一”的工程实践
zhaoyqcsdn的博客
04-13 1812
尽管面临数据与解释性挑战，但其在复杂任务中的潜力已初见端倪——从Google RT-2的零样本泛化能力，到PaLM-E的多任务统一建模，端到端架构正成为具身智能的核心载体。未来的机器人将不再依赖繁琐的手工编程，而是像人类一样，通过“看-想-动”的连贯过程，自主适应瞬息万变的物理世界。这种“流水线”模式看似分工明确，却存在致命缺陷——各模块间的信息损失、误差累积和延迟叠加，导致系统难以应对动态复杂任务（如“避开移动障碍物并抓取摇晃的杯子”）。：根据图像和指令“向左/右移动方块”，控制机械臂末端水平移动。
具身智能中 VLA 主流方案
具身智能机器人
03-02 3332
本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。通过对各方案的开源项目和核心思想的介绍，对比了它们在模型架构、动作类型、训练目标等方面的特点，得出了相应的结论共识。同时，探讨了 VLA 面临的数据稀缺、运动规划、实时响应、多模态融合、泛化能力、长时域任务执行、基础模型、多智能体协作以及安全伦理等挑战，并展望了未来的发展方向。
VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？
CV_Autobot的博客
02-26 1375
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模...
VLM和VLAM（VLA）相关介绍和发展历程
qq_30708051的博客
12-28 4377
相关介绍和发展历程的内容来自于通义大模型，还是让大模型总结整理比较方便。视觉语言模型（VLM）和视觉语言动作模型（VLA）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。
开源自动驾驶VLM/VLA！基于任意大模型的视觉推理
qq_50213874的博客
05-31 776
视觉语言模型（VLMs）因其强大的推理能力，在自动驾驶领域受到日益广泛的关注。然而，现有VLMs通常采用针对特定场景设计的离散文本思维链（Chain-of-Thought, CoT），这种表征本质上是对视觉信息的高度抽象和符号化压缩，可能导致空间-时间关系模糊以及细粒度信息丢失。自动驾驶是否更适合通过真实世界模拟与想象建模，而非纯粹依赖符号逻辑？本文提出一种时空思维链（spatio-temporal CoT）推理方法，使模型可视化地思考。首先，VLM作为世界模型生成统一图像帧以预测未来世界状态：其中感知结果
大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1265
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
spring-ai 1.0.0 学习（十八）——MCP Server
hzp的专栏
06-27 346
本文介绍了如何将Spring服务发布为外部工具供调用。主要步骤包括：1）引入spring-ai相关依赖；2）配置application文件定义服务器信息；3）用@Tool注解标记服务方法，并通过ToolCallbackProvider注册。文章还简要说明了HTTP模式下的内部原理：通过McpServerProperties配置创建服务器组件，McpSyncServer处理各类请求，WebMvcSseServerTransportProvider管理会话。
Fisco Bcos学习 - 节点存储加密
本郡主是喵
06-26 633
在区块链系统中，数据存储的安全性至关重要。FISCO BCOS作为企业级联盟链平台，通过节点存储加密机制，为区块链数据提供了坚实的安全保障。本文将结合官方文档，详细解读FISCO BCOS节点存储加密的原理、配置与应用，帮助读者深入理解这一重要安全特性。FISCO BCOS的节点存储加密基于国密算法，对区块链数据进行加密存储，确保即使存储介质被窃取，数据也无法被非法读取。该加密机制采用全库加密模式，对LevelDB数据库中的所有数据进行加密处理，有效防止数据泄露风险。
大模型·知识蒸馏·学习笔记
weixin_43264001的博客
06-25 889
知识蒸馏：模型压缩与泛化提升的有效方法 知识蒸馏通过“教师-学生”范式，将复杂教师模型的知识迁移到轻量学生模型，解决大模型在资源受限设备上的部署问题。其核心是让学生学习教师模型的“暗知识”（类别间相似性），而非硬标签，从而提升泛化能力，防止过拟合。关键技术包括软目标与温度调节，软化概率分布以传递更多信息。知识蒸馏可分为离线、在线和自蒸馏三类，传递的知识类型涵盖响应、特征和关系层面。Hinton的开创性工作验证了其有效性，后续研究扩展了应用领域与技术维度。知识蒸馏在模型压缩和性能优化中具有重要价值。
学习昇腾开发的第8天--python实现rtsp拉取手机摄像头视频流再通过ffmpeg推流到mediamtx服务器再通过vlc显示
xiaojin511025的博客
06-25 350
【代码】学习昇腾开发的第8天。
研一自救指南 - 06.HTML5系统学习
一直在学习的博客
06-26 304
基于W3school的HTML5学习
Solidity学习 - 错误处理
最新发布
本郡主是喵
06-28 418
在Solidity智能合约开发中，错误处理是保障合约安全和可靠性的重要环节。与传统编程语言不同，EVM（以太坊虚拟机）的错误处理机制具有独特的特性，本文将详细介绍Solidity中错误处理的核心概念、方法及最佳实践。
Solidity学习 - 认识Solidity合约结构
本郡主是喵
06-26 902
Solidity作为以太坊等区块链平台上编写智能合约的核心语言，其合约结构的设计直接关系到智能合约的功能实现、安全性与可维护性。深入理解Solidity合约结构，是每位智能合约开发者的必修课。本文将结合官方文档，详细拆解Solidity合约的组成部分，帮助开发者掌握其设计精髓。函数名：如transfer，标识函数功能。参数列表，定义函数输入参数。可见性修饰符public，表示外部合约可调用。返回值，定义函数返回值类型。函数体：包含具体执行逻辑，如上述代码中实现代币转账的逻辑。
Solidity学习 - 数组类型
本郡主是喵
06-28 554
在Solidity编程中，数组是一种非常重要的数据结构，用于存储一组相同类型的数据。本文将详细介绍Solidity中数组类型的定义、初始化、访问以及相关操作，帮助开发者更好地理解和使用数组。和大多数编程语言一样，在Solidity中，只需在一个类型后面加上[]，就构成了一个数组类型，表示可以存储一组该类型的值。需要注意的是，数组类型是引用类型，在声明引用类型变量时，需要指定该变量的位置。// 状态变量缺省位置为storage// 固定长度的数组，长度为10// 动态长度的数组。
VLA和VLM
03-08
<think>嗯，用户让我介绍一下VLA和VLM，这两个都是计算机视觉和自然语言处理结合领域的重要模型。首先，我需要确认这两个缩写的全称是什么。VLA应该是Vision-Language-Action，而VLM是Vision-Language Model。对吗？可能用户对这两个概念有点混淆，或者想了解它们之间的关系和区别。 接下来，我需要回忆这两个模型的基本定义和应用场景。VLM，也就是视觉语言模型，主要用于理解和生成与图像相关的文本，比如图像描述、视觉问答等。而VLA，视觉语言动作模型，可能更侧重于将视觉和语言信息结合到具体的动作或决策中，比如机器人控制、自动驾驶等需要根据视觉和语言指令执行动作的场景。 用户可能想知道它们各自的特点、应用以及区别。可能需要先分别介绍每个模型，再比较它们的异同点。比如，VLM专注于感知层面，处理视觉和语言的交互，而VLA则在感知的基础上增加了执行动作的能力，属于更复杂的系统。 还要注意用户的需求是否涉及技术细节，比如模型结构、训练方法等。不过用户只是要求介绍，可能需要保持解释的简明易懂，避免过于专业的术语，但又要准确。比如，VLM可能使用Transformer架构，通过多模态融合处理图像和文本；而VLA可能在VLM基础上加入强化学习或动作预测模块。 需要确认是否有最新的研究成果或典型模型，比如VLM中的CLIP、Flamingo，VLA中的Gato、RT-2等。举例说明可以帮助用户理解。 另外，用户可能对两者的应用场景感兴趣。比如VLM用于图像搜索、自动标注，VLA用于机器人执行复杂任务。需要明确两者的不同应用方向。 最后，总结两者的联系与区别，强调VLA在VLM的基础上增加了动作执行的能力，形成感知-决策-执行的闭环。这样用户就能清晰理解两者的定位和关系。</think>### **VLA（Vision-Language-Action）与 VLM（Vision-Language Model）介绍** #### **1. VLM（视觉语言模型）** - **定义**： VLM 是一种结合 **视觉（图像/视频）** 与 **语言（文本）** 的多模态模型，能够理解图像内容并生成相关文本描述，或根据文本指令分析视觉信息。 - **核心能力**： - **跨模态对齐**：将图像特征与文本语义关联（例如：识别图像中的狗并生成“一只金毛犬在草地上奔跑”）。 - **任务场景**： - **图像描述生成**（Image Captioning） - **视觉问答**（VQA，如“图片中有几只猫？”） - **图文检索**（用文字搜索图片，或用图片搜索文字） - **典型模型**： - **CLIP**（OpenAI）：通过对比学习对齐图像和文本特征。 - **Flamingo**（DeepMind）：支持多轮对话的视觉语言模型。 - **BLIP-2**：结合预训练视觉编码器与大语言模型（如 GPT）。 --- #### **2. VLA（视觉语言动作模型）** - **定义**： VLA 在 VLM 的基础上增加了 **动作决策与控制** 能力，形成“感知-理解-决策-执行”的闭环系统，直接将视觉和语言输入映射到物理动作。 - **核心能力**： - **多模态推理**：结合视觉、语言和环境状态，规划动作（例如：根据指令“拿起红色积木”控制机器人手臂）。 - **任务场景**： - **机器人操作**（如家庭服务机器人） - **自动驾驶**（根据路况和导航指令调整车速） - **具身智能**（智能体在虚拟/真实环境中交互） - **典型模型**： - **RT-2**（Google DeepMind）：将视觉语言模型与机器人动作策略结合，实现泛化操作能力。 - **Gato**（DeepMind）：通用多模态模型，可处理文本、图像、动作序列。 --- #### **3. 核心区别** | **维度** | **VLM** | **VLA** | |----------------|----------------------------------|----------------------------------| | **目标** | 理解视觉与语言的关系 | 将感知转化为物理动作 | | **输出** | 文本或跨模态特征 | 控制指令（如机械臂轨迹、车速） | | **应用场景** | 图像分析、内容生成 | 机器人、自动驾驶、交互式系统 | | **技术挑战** | 跨模态对齐、生成一致性 | 动作安全性、环境实时响应 | --- #### **4. 联系与趋势** - **VLA 依赖 VLM 的基础能力**：VLA 通常以 VLM 为感知层，通过强化学习或动作预测模块扩展决策能力。 - **发展方向**： - **端到端训练**：从原始输入（图像+文本）直接输出动作，减少模块分割。 - **通用智能体**：构建能适应多任务、多场景的“全能型”VLA 系统（如具身通用人工智能）。 若需进一步了解具体模型或技术细节，可随时提出！ 🚀
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值