对VLM和VLA的一点感想

最新推荐文章于 2025-05-30 08:05:08 发布
最新推荐文章于 2025-05-30 08:05:08 发布
阅读量205 收藏
点赞数 1
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LehrerMa/article/details/146969811
版权

最近的项目进度使用LLaVA框架来实现VLA。对于大语言模型来说，数据集的构造以及Prompt的设计很重要。在LLaVA训练框架下，1. alignment需要尽可能的让text全面描述视觉特征，甚至于逐帧的描述。2. finetune时的prompt，也需要尽可能对当前的visual features进行描述。以显式的方式作为prompt提示给LLM，都有助于VLA实现连续控制的鲁棒性，提高推理的准确性。

除了扩大数据集提升泛化性以及RAG的引入，其实还可以引入一些修正机制，来避免推理错误的动作API执行。甚至可以在明显推理错误时，重新对当前scenario进行推理。

以上，

2025年4月3日凌晨2:30

ZipingCong
关注
从VLM到VLA概论
xiaomu_347的博客
12-27 840
智驾视觉大模型
【具身智能算法入门】VLM/VLA 算法入门指南
kakaZhui的博客
05-10 292
人工智能的浪潮正从纯粹的语言理解和生成，涌向更广阔、更复杂的具身智能 (Embodied AI)领域。我们不再满足于让 AI 在数字世界中处理文本，而是期望它们能够感知物理世界、理解多模态信息、并基于此进行决策和行动。在这个激动人心的前沿，视觉语言模型 (Vision-Language Models, VLM)和视觉语言 Agent (Vision-Language Agents, VLA)扮演着核心角色。
VLM和VLAM（VLA）相关介绍和发展历程
qq_30708051的博客
12-28 4189
相关介绍和发展历程的内容来自于通义大模型，还是让大模型总结整理比较方便。视觉语言模型（VLM）和视觉语言动作模型（VLA）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。
VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？
CV_Autobot的博客
02-26 996
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模...
机器人大小脑的整合——从微调VLM起步的VLA发展史：详解RoboFlamingo、Octo、TinyVLA
结构之法 算法之道
12-01 1万+
许多研究使用从机器人收集的大量轨迹数据集来训练策略这些工作主要集中在单一的embodiment上，而Octo则在跨多个体现组装的机器人数据集上训练策略，增加了训练数据集的有效规模，并允许对多种机器人设置进行微调最近，论文集中于扩展机器人策略的泛化能力。多项研究利用多样的非机器人数据或预训练的视觉-语言基础模型来提升策略对新场景和任务的泛化能力[86,103,96,16,38,11,84,36,4,37,7,3,46,15,23]
职场与思考 | 聊聊VLM/VLA和智驾新技术
CV_Autobot的博客
01-17 887
作者|么么牛编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/17866772378点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型』技术交流群本文只做学术分享，如有侵权，联系删文VLM和VLA的区别，有点想以像L2功能，LDW和LKA，FCW和AEB的区别，一个是只...
VLA和VLM
03-08
嗯，用户让我介绍一下VLA和VLM，这两个都是计算机视觉和自然语言处理结合领域的重要模型。首先，我需要确认这两个缩写的全称是什么。VLA应该是Vision-Language-Action，而VLM是Vision-Language Model。对吗？可能...
llm模型简单理解，举例说明；vlm模型简单理解，举例说明VLM；模型的应用；
ZJQ的博客
05-15 655
llm模型简单理解，举例说明；vlm模型简单理解，举例说明VLM；模型的应用；
具身智能端到端大模型VLA (Vision Language Action)
具身智能机器人
01-06 9357
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
一次性总结数十个具身模型(24-25年Q1)：从训练数据、动作预测、训练方法到Robotics VLM、通用VLA π0等
结构之法 算法之道
02-01 1万+
本文一开始是属于此文的前言的，但考虑到其重要性，加之那么大一张表格 看下来 阅读体验较差，故抽出取来独立成文且拆分之具身的论文解读过很多之后，便会发现整个今24年的具身模型/策略大概如下所示——目前全网独一份「(建议按照从下至上的顺序看，且，我后续也会不断完善之——毕竟还有很多并未囊括于下表中，如转载请于文章开头标明作者July及本文链接。
端到端自动驾驶大模型：视觉-语言-动作模型 VLA
AIgraphX
12-15 5222
随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。
VLA、LLM和VLM
qq_50857609的博客
01-08 3515
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
π0——用于通用机器人控制的VLA模型：一套框架控制7种机械臂(基于PaliGemma和流匹配的3B模型)
热门推荐
结构之法 算法之道
11-04 2万+
在此文之前，我花了一天半，详细解读了清华这个机器人扩散大模型RDT，包括其每一个附录，并在上文中预告说：​下一篇是一个3B的机器人大模型打通7种不同品牌的机械臂，这几个工作宣告机器人真正进入大模型时代故，本文来了。
具身智能中 VLA 主流方案
具身智能机器人
03-02 2975
本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。通过对各方案的开源项目和核心思想的介绍，对比了它们在模型架构、动作类型、训练目标等方面的特点，得出了相应的结论共识。同时，探讨了 VLA 面临的数据稀缺、运动规划、实时响应、多模态融合、泛化能力、长时域任务执行、基础模型、多智能体协作以及安全伦理等挑战，并展望了未来的发展方向。
具身智能的视觉-语言-动作模型：综述
yorkhunter的博客
05-26 3877
24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。
端到端VLA模型架构：让机器“知行合一”的工程实践
zhaoyqcsdn的博客
04-13 1620
尽管面临数据与解释性挑战，但其在复杂任务中的潜力已初见端倪——从Google RT-2的零样本泛化能力，到PaLM-E的多任务统一建模，端到端架构正成为具身智能的核心载体。未来的机器人将不再依赖繁琐的手工编程，而是像人类一样，通过“看-想-动”的连贯过程，自主适应瞬息万变的物理世界。这种“流水线”模式看似分工明确，却存在致命缺陷——各模块间的信息损失、误差累积和延迟叠加，导致系统难以应对动态复杂任务（如“避开移动障碍物并抓取摇晃的杯子”）。：根据图像和指令“向左/右移动方块”，控制机械臂末端水平移动。
谷歌 DeepMind 宣布推出 RT-2：全球第一个控制机器人的视觉 - 语言 - 动作（VLA）模型
夕小瑶科技说
07-31 1945
夕小瑶科技说 分享来源 | 机器之心给机器人发命令，从没这么简单过。我们知道，在掌握了网络中的语言和图像之后，大模型终究要走进现实世界，「具身智能」应该是下一步发展的方向。把大模型接入机器人，用简单的自然语言代替复杂指令形成具体行动规划，且无需额外数据和训练，这个愿景看起来很美好，但似乎也有些遥远。毕竟机器人领域，难是出了名的。然而 AI 的进化速度比我们想象得还要快。本周五，。现在不再用复杂指令，机器人也能直接像 ChatGPT 一样操纵了。RT-2 到达了怎样的智能化程度？
Github 2025-05-30Java开源项目日报Top10
最新发布
老孙正经胡说
05-30 937
根据Github Trendings的统计，今日(2025-05-30统计)共有10个项目上榜。
VLA VLM
03-17
### 关于VLA (Variable-Length Array) 变长数组（VLA, Variable-Length Array）是在C99标准中引入的一种特性，允许使用变量来动态指定数组的大小。这意味着可以利用运行时计算得出的结果作为数组维度的一部分[^1]。 #### 特性和限制 - **数据存储位置**: 变长数组通常被分配在栈(stack)上而非静态区(data segment)，因为其尺寸仅能在运行期确定。因此，全局或`static`类型的变量无法成为变长数组，因为在编译阶段就需要固定这些区域的空间需求[^3]。 - **生命周期约束**: VLA在其作用域内的长度保持不变；尽管初始化时依赖的是可变值(比如函数参数或其他表达式的求值结果)，但在整个生存周期里它的规模不会改变[^2]。 - **安全性考量**: 使用变长数组存在潜在风险，尤其是当所需内存过大可能导致堆栈溢出等问题发生时。出于此考虑，在某些场景下可能会触发警告信息提示开发者谨慎处理此类情况[^5]。 ```c void example(int n){ int vla[n]; // 正确：n 是运行时期决定的数值 } ``` 上述代码片段展示了如何在一个局部范围内创建基于输入参数 `n` 的一维变长数组实例化过程[^4]。 --- ### 关于VLM (VideoLAN Manager) 相比之下，“VLM”代表的是另一种完全不同的技术领域术语——**VideoLAN Manager**(视频局域网管理器)。它是开源项目 VideoLAN(VLC media player背后的框架之一)中的一个重要组件，主要用于管理和调度复杂的流媒体播放任务序列[^6]。 #### 功能概述 - 支持设置多个输入源并将其组合成单一输出流； - 提供脚本化的控制方式以便自动化操作流程； - 能够配置广播服务以及按需点播机制等高级功能选项。 由于涉及具体实现细节较少公开文档可供查阅，更多时候使用者通过命令行界面或者图形用户界面对应模块间接交互完成相应工作负载安排即可满足日常应用需求[^7]。 --- ### 总结对比 | 属性 | VLA (Variable Length Array) | VLM (VideoLAN Manager) | |--------------|------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------| | 领域 | 编程语言(C/C++) | 多媒体软件开发 | | 描述 | 运行时刻才能确定大小的一类特殊形式的数组 | VLC Media Player 中用于复杂流传输方案设计与实施的核心工具 | | 主要用途 | 实现灵活的数据结构定义 | 流媒体服务器搭建、直播推流转码优化 | 两者虽然名字缩写相似但实际毫无关联关系，分别隶属于计算机科学的不同分支方向研究范畴之内。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值