【VLA&VLM——OpenVLA】

最新推荐文章于 2025-11-07 09:45:47 发布
原创 最新推荐文章于 2025-11-07 09:45:47 发布 · 840 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

OpenVLA

总览

这是开启VLA&VLM学习的第一篇论文记录，这个系列主要用于记录一些经典的VLA&VLM方法和对应的思考。持续思考持续提升。其实开始做VLM已经有几个月的时间了，但是没有系统的了解过整个VLM&VLA的框架和知识。
【paper】https://arxiv.org/pdf/2406.09246
【code】

主要创新

  1. 指出之前VLA模型的主要问题：1）大多是闭源模型；2）可迁移性差，适配一个新的机型/任务，需要完全重新训练；
  2. 提出了一个开源的7B VLA模型-OpenVLA，性能超越之前闭源RT-2-X，并且具备泛化迁移能力；
  3. 探究了一系列VLA模型结构、训练方式的配置细节，部分得到的结论和先前常识不太一样；

模型结构

  1. Vision Enc（600M）：单帧图像分别过DinoV2和SigLIP后，Channel-wise进行concat。之所以用两个Enc，是作者经过实验发现这样(增加DINOv2)对于spatial reasoning能力有明显提升；
  2. Projector：2层MLP，对其vision&language特征空间；
  3. LLM（7B）：Llama-7B
  4. VLM pretrain：整体基于LlaVA 1.5 data mixture进行finetune，作为pretrain model
  5. Action Decoder：将训练数据中1%-99%的动作，离散化成256个meta action。然后通过这256个离散动作控制机器人。这里面注意，Llama做SFT只支持最多100个新special token，所以需要把利用最少的256个special token给覆盖掉，供Action Decoder使
最低0.47元/天 解锁文章
书玮嘎
关注
从VLM到VLA概论
xiaomu_347的博客
12-27 1350
智驾视觉大模型
VLA、LLM和VLM
qq_50857609的博客
01-08 6197
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
梳理几个概念，弄懂具身智能发展主线：LLM、VLM、VLA，以及端到端模型，非常详细建议收藏！
libaiup的博客
08-04 1785
本文系统梳理了从LLM到具身智能的AGI发展路径。首先介绍了单模态LLM在文本处理上的优势，然后分析了多模态VLM如何融合视觉与语言理解能力。重点讨论了VLA模型通过增加"行动"模态，实现了AI与物理世界的交互能力。文章指出端到端训练是具身智能发展的关键方法，强调VLA模型集认知、感知和行动于一体，为AGI奠定基础。最后提供了AI大模型学习资源包的信息，包含从入门到进阶的全套学习资料。
【大模型】VLA、VLM、LLM的基础概念及挑战
最新发布
一碗白开水一
11-07 804
LLM (Large Language Model - 大型语言模型)VLM (Vision-Language Model - 视觉语言模型)VLA (Vision-Language-Action Model - 视觉语言动作模型)它们之间的主要差异总结：简单来说：大型语言模型在AI领域取得了显著进展，但也面临多重挑战，这些阻碍了其广泛应用和可靠性。计算资源需求高：训练LLM需要巨大的计算能力。例如，一个拥有101110^{11}1011参数的模型训练需消耗数千GPU小时，成本高昂。推理阶段（生成响应）同样
端到端自动驾驶大模型：视觉-语言-动作模型 VLA
AIgraphX
12-15 6699
随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。
VLM/VLA模型训练与评估指南：13大开源数据集，轻松入门，记得收藏！
2401_85375151的博客
06-24 2157
本文系统梳理了自动驾驶领域视觉语言大模型（VLM）的技术框架和发展现状。典型VLM包含视觉编码器、驾驶适配器、文本编码器和LLM核心四大组件，而视觉语言驾驶模型（VLA）额外集成扩散式轨迹规划器。当前技术突破主要体现在：1）高质量数据构建，如小米通过310万驾驶数据训练Qwen2.5-VL模型；2）多阶段训练策略，包括监督微调和强化学习；3）专用评估体系发展，如DriveMLLM、AD2-Bench等基准测试。研究表明，融合场景描述、交通信号检测等6类QA问答能显著提升模型性能。
VLM和VLAM（VLA）相关介绍和发展历程
qq_30708051的博客
12-28 5849
相关介绍和发展历程的内容来自于通义大模型，还是让大模型总结整理比较方便。视觉语言模型（VLM）和视觉语言动作模型（VLA）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。
具身智能的大模型？——OpenVLA
weixin_68094467的博客
01-24 2133
为了促进未来的研究和发展，机器人领域需要类似开源语言模型生态系统的开源、通用的VLA，支持有效的微调和适应。基于此，作者提出了OpenVLA——一个70亿参数的开源VLA，它在通用机器人操作策略方面设立了新的最先进标准。它由一个预训练的视觉条件语言模型主干组成，该模型能够在多个粒度级别上捕捉视觉特征，并在一个包含97万个机器人操作轨迹的大规模多样化数据集上进行了微调。这个数据集涵盖了广泛的机器人形态、任务和场景。
论文阅读笔记——OpenVLA: An Open-Source Vision-Language-Action Model
Multiple_x的博客
03-09 2714
OpenVLA: An Open-Source Vision-Language-Action Model 论文阅读笔记
VLA算法总结对比——RT1 / RT2 / Pi0 / Octo/ RDT / OpenVLA
weixin_44580210的博客
05-05 5568
本文主要针最近比较经典的VLA算法进行对比总结，暂不涉及到代码细节和实验细节上的展开，仅仅是从大面上掌握下目前VLA的一些思路和方法。
具身智能端到端大模型VLA (Vision Language Action)
具身智能机器人
01-06 1万+
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
从“看懂”到“行动”： VLM 与 VLA
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-19 3039
如果说 VLM 是让机器拥有了聪明的“眼睛和大脑”，那么 VLA 就是为这台机器装上了反应敏捷的“小脑和四肢”。VLA 的核心使命，是将 VLM 产生的丰富世界理解，转化为在物理世界中精准、合理、安全的。扩散模型**等先进的生成技术，将抽象的理解转化为具体的、概率性的、多模态的动作序列。VLA 的出现，首先是一场思想上的革命，即从“模块化”转向“端到端”。VLA 的终极形态，将是在内部构建一个可以模拟物理世界的“沙盒”，即。现在，一张完整的图片就变成了一系列“视觉词汇”组成的“句子”。
职场与思考 | 聊聊VLM/VLA和智驾新技术
CV_Autobot的博客
01-17 1351
作者|么么牛编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/17866772378点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型』技术交流群本文只做学术分享，如有侵权，联系删文VLM和VLA的区别，有点想以像L2功能，LDW和LKA，FCW和AEB的区别，一个是只...
机器人大脑VLA的发展史——从微调VLM起步：详解RoboFlamingo、Octo、TinyVLA
热门推荐
结构之法 算法之道
12-01 1万+
许多研究使用从机器人收集的大量轨迹数据集来训练策略这些工作主要集中在单一的embodiment上，而Octo则在跨多个体现组装的机器人数据集上训练策略，增加了训练数据集的有效规模，并允许对多种机器人设置进行微调最近，论文集中于扩展机器人策略的泛化能力。多项研究利用多样的非机器人数据或预训练的视觉-语言基础模型来提升策略对新场景和任务的泛化能力[86,103,96,16,38,11,84,36,4,37,7,3,46,15,23]
VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？
CV_Autobot的博客
02-26 2330
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模...
具身智能的视觉-语言-动作模型：综述
yorkhunter的博客
05-26 4974
24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。
视觉语言模型（VLMs）知多少？
qianggezhishen的专栏
09-05 3000
视频理解能分析视频里的视觉信息，然后生成描述性的文本，捕捉视频要表达的精髓。VLMs就像是AI界的新宠，能搞定那些既需要看图又需要读文的活儿，比如给图片配文字、回答有关图片的问题，或者根据文字描述生成图片。不过，不同的模型可能会用不同的预训练策略。随着这个领域的不断发展，我们可以预见，未来会有更多更复杂的VLMs出现，它们能完成更艰巨的任务，还能给出有价值的见解。通过把这两部分结合起来，VLMs能干的事儿可多了，比如能给图片写出详细的描述，回答有关图片的问题，甚至根据文字描述生成全新的图片呢！
谷歌 DeepMind 宣布推出 RT-2：全球第一个控制机器人的视觉 - 语言 - 动作（VLA）模型
夕小瑶科技说
07-31 2189
夕小瑶科技说 分享来源 | 机器之心给机器人发命令，从没这么简单过。我们知道，在掌握了网络中的语言和图像之后，大模型终究要走进现实世界，「具身智能」应该是下一步发展的方向。把大模型接入机器人，用简单的自然语言代替复杂指令形成具体行动规划，且无需额外数据和训练，这个愿景看起来很美好，但似乎也有些遥远。毕竟机器人领域，难是出了名的。然而 AI 的进化速度比我们想象得还要快。本周五，。现在不再用复杂指令，机器人也能直接像 ChatGPT 一样操纵了。RT-2 到达了怎样的智能化程度？
VLA和VLM
03-08
<think>嗯，用户让我介绍一下VLA和VLM，这两个都是计算机视觉和自然语言处理结合领域的重要模型。首先，我需要确认这两个缩写的全称是什么。VLA应该是Vision-Language-Action，而VLM是Vision-Language Model。对吗？可能用户对这两个概念有点混淆，或者想了解它们之间的关系和区别。 接下来，我需要回忆这两个模型的基本定义和应用场景。VLM，也就是视觉语言模型，主要用于理解和生成与图像相关的文本，比如图像描述、视觉问答等。而VLA，视觉语言动作模型，可能更侧重于将视觉和语言信息结合到具体的动作或决策中，比如机器人控制、自动驾驶等需要根据视觉和语言指令执行动作的场景。 用户可能想知道它们各自的特点、应用以及区别。可能需要先分别介绍每个模型，再比较它们的异同点。比如，VLM专注于感知层面，处理视觉和语言的交互，而VLA则在感知的基础上增加了执行动作的能力，属于更复杂的系统。 还要注意用户的需求是否涉及技术细节，比如模型结构、训练方法等。不过用户只是要求介绍，可能需要保持解释的简明易懂，避免过于专业的术语，但又要准确。比如，VLM可能使用Transformer架构，通过多模态融合处理图像和文本；而VLA可能在VLM基础上加入强化学习或动作预测模块。 需要确认是否有最新的研究成果或典型模型，比如VLM中的CLIP、Flamingo，VLA中的Gato、RT-2等。举例说明可以帮助用户理解。 另外，用户可能对两者的应用场景感兴趣。比如VLM用于图像搜索、自动标注，VLA用于机器人执行复杂任务。需要明确两者的不同应用方向。 最后，总结两者的联系与区别，强调VLA在VLM的基础上增加了动作执行的能力，形成感知-决策-执行的闭环。这样用户就能清晰理解两者的定位和关系。</think>### **VLA（Vision-Language-Action）与 VLM（Vision-Language Model）介绍** #### **1. VLM（视觉语言模型）** - **定义**： VLM 是一种结合 **视觉（图像/视频）** 与 **语言（文本）** 的多模态模型，能够理解图像内容并生成相关文本描述，或根据文本指令分析视觉信息。 - **核心能力**： - **跨模态对齐**：将图像特征与文本语义关联（例如：识别图像中的狗并生成“一只金毛犬在草地上奔跑”）。 - **任务场景**： - **图像描述生成**（Image Captioning） - **视觉问答**（VQA，如“图片中有几只猫？”） - **图文检索**（用文字搜索图片，或用图片搜索文字） - **典型模型**： - **CLIP**（OpenAI）：通过对比学习对齐图像和文本特征。 - **Flamingo**（DeepMind）：支持多轮对话的视觉语言模型。 - **BLIP-2**：结合预训练视觉编码器与大语言模型（如 GPT）。 --- #### **2. VLA（视觉语言动作模型）** - **定义**： VLA 在 VLM 的基础上增加了 **动作决策与控制** 能力，形成“感知-理解-决策-执行”的闭环系统，直接将视觉和语言输入映射到物理动作。 - **核心能力**： - **多模态推理**：结合视觉、语言和环境状态，规划动作（例如：根据指令“拿起红色积木”控制机器人手臂）。 - **任务场景**： - **机器人操作**（如家庭服务机器人） - **自动驾驶**（根据路况和导航指令调整车速） - **具身智能**（智能体在虚拟/真实环境中交互） - **典型模型**： - **RT-2**（Google DeepMind）：将视觉语言模型与机器人动作策略结合，实现泛化操作能力。 - **Gato**（DeepMind）：通用多模态模型，可处理文本、图像、动作序列。 --- #### **3. 核心区别** | **维度** | **VLM** | **VLA** | |----------------|----------------------------------|----------------------------------| | **目标** | 理解视觉与语言的关系 | 将感知转化为物理动作 | | **输出** | 文本或跨模态特征 | 控制指令（如机械臂轨迹、车速） | | **应用场景** | 图像分析、内容生成 | 机器人、自动驾驶、交互式系统 | | **技术挑战** | 跨模态对齐、生成一致性 | 动作安全性、环境实时响应 | --- #### **4. 联系与趋势** - **VLA 依赖 VLM 的基础能力**：VLA 通常以 VLM 为感知层，通过强化学习或动作预测模块扩展决策能力。 - **发展方向**： - **端到端训练**：从原始输入（图像+文本）直接输出动作，减少模块分割。 - **通用智能体**：构建能适应多任务、多场景的“全能型”VLA 系统（如具身通用人工智能）。 若需进一步了解具体模型或技术细节，可随时提出！ 🚀
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值