正式开课！早鸟优惠即将截止，国内首个VLA算法与实战课程来啦

最新推荐文章于 2025-10-19 00:01:54 发布
转载 最新推荐文章于 2025-10-19 00:01:54 发布 · 457 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247651227&idx=1&sn=8ede3454326ea1bc2a894eac0f0cf06f&chksm=cf542f3e37caecc1c1e46bd7a1e8fe6e5d201fa0323757ddda937a383659e8f9fe6fecc6c341&scene=126&sessionid=0

谈机器人，离不开具身智能......

具身智能是一种融合人工智能与机器人技术的创新形式，强调机器人在感知、理解和环境互动中的能力。与传统智能系统不同，具身智能通过物理形式直接与世界交互，从而完成更复杂的任务。其核心在于让机器“身体力行”，以灵活、智能的方式工作，可以说，是机器人领域的GPT时刻。

尤其在工业领域，具身智能的应用日益增多，例如 Figure AI 和特斯拉的人形机器人等。这些机器人旨在解放人类，减少在繁重和重复劳动中的投入，使人们能够专注于更具创造性和价值的工作。国际上，像擎天柱和波士顿动力这样的公司，已经研发出一系列先进的具身智能机器人。这些机器人不仅在制造业中找到了应用，还在物流、运输和甚至家庭服务等领域展现了巨大的潜力。在国内，宇树科技、云深处和智元机器人等公司也相继推出了具身智能产品，完成了量产，进一步推动了这一领域的发展。具身智能的发展空间十分广阔，它不仅可以推动工业和服务业的转型升级，甚至有可能重塑C端（消费者端）和B端（商业端）市场的格局。因此，它引起了资本的高度关注和青睐，投资者纷纷看好这一技术所带来的商业价值和市场潜力。

VLA是什么？VLA的技术栈有哪些？

VLA，Vision-Language-Action模型，是具身智能领域的新范式，从给定的语言指令和视觉信号，直接生成出机器人可执行的动作。这种范式打破了以往只能在单个任务上训练大的局限性，提供了机器人模型往更加通用，场景更加泛化的方向发展。VLA模型在学术界和工业界的重要性主要体现在其将视觉信息、语言指令和行动决策有效整合，显著提升了机器人对复杂环境的理解和适应能力。

这种新范式打破了传统方法的单任务局限，使得机器人能够在多样化的场景中自主决策，灵活应对未见过的环境，广泛应用于制造业、物流和家庭服务等领域。此外，VLA模型已成为研究热点，推动了多个前沿项目的发展，如RT-2、OpenVLA、QUAR-VLA和HumanVLA，这些研究促进了学术界与工业界的合作。其适应性体现在能够应用于机械臂、四足机器人和人形机器人等多种平台，为各类智能机器人的发展提供了广泛的潜力和实际应用价值，成为智能机器人领域的关键驱动力。

对于VLA构成的机器人系统来说，主要包括：视觉的感知处理模块，语言指令的理解以及生成机器人可执行动作的策略网络。根据不同的需求，目前的VLA主要分为三类范式：显示端到到VLA，隐式端到端VLA以及分层端到端VLA。

显示端到到VLA，是最常见最经典的范式。通常是将视觉语言信息压缩成联合的表征，然后再基于这个表征去重新映射到动作空间，生成对应的动作。这类端到端的范式依赖于先前广泛的研究先验，通过不同架构（diffusion/ transformer/dit），不同的模型大小，不同的应用场景（2d/3d）,不同的任务需求（从头训/下游微调），产生了各类不同的方案，取得了不错的性能。

隐式端到端VLA，则不同于前者，更加关注工作的可解释性，旨在利用当前的video diffusion模型实现未来状态的预测，再根据未来的状态通过逆运动学规律生成未来可执行的动作。通过显式的生成未来观测不仅提高了可解释性，同样也增加了避开机器人动作而scalingVLA模型的潜能。

分层端到端VLA，则关注于充分利用大小模型的特点，提升模型的泛化性同时也保留对于下游执行频率的高效性，近来也成为了研究的热点。

入门学习依然很困难？

无论是显示端到到VLA，还是隐式/分层端到端VLA，其中涉及到的模块、细节众多。这类知识点琐碎，系统也比较复杂，如果没有比较好的教程带着入门，往往会踩坑，后期不知道怎么学习。如何进行感知编码、动作生成？不同架构的优缺点是什么？泛化性和通用性如何保留？数据是怎么采集的？联合训练怎么做？这些都是阻挡新手入门以及进阶的难点。

欢迎微信扫码学习试听！早鸟88折优惠

da90989fb18cf095b2141516c107ed41.png

为此，我们联合业界知名的机器人系统与算法专家，联合展开了业内首门面向具身智能的VLA理论与实战课程，让大家真正能够学得透彻，后期配有代码讲解，助力大家真正从实现的角度上搞懂算法。课程大纲：

45d0a91ae21cee476da2ccf312938088.png

课程部分内容一览：

7c6772a001a69aa0b4001950d4b6415a.png

19d7f95da50b0d0e4a3317a9ed80b101.png

6e4460385e0f50d2e76ba159e00e6b13.png

6f95aa63e194b200d765d8c61c0a9271.png

673e17b3b53846997f47edb988c31b67.png

3b0992d0306c6b9175aa1bcc55cca359.png

b536398c1a0338c722d2871dfaabb91a.png

1363080296e780b0ba12409269cef2a1.png

讲师介绍

Perry老师，在智能机器人和人工智能领域具有深厚的学术背景和丰富的实践经验。曾在多个顶级会议：RSS、ICLR、CVPR、ECCV、ICRA和IROS上发表研究。丰富的具身智能实战和研究经验，运用生动的案例和互动式教学，帮助学员深入理解复杂概念，激发对该领域的兴趣与探索。

适合人群

  • VLA领域的从业人员，需要进一步进阶提升；

  • 从事具身智能研究的本科、硕士、博士生；

  • 希望从传统计算机视觉（CV）或自动驾驶领域转行进入具身智能的专业人士；

  • 对具身智能领域感兴趣的其他人员；

学后收获

  • 能够掌握VLA模型的基本原理和实际应用；

  • 能够理解如何将视觉、语言和行动结合，以提升机器人系统的智能化水平；

  • 获得实用的技能，包括模型训练、数据处理和多任务学习的基本方法；

  • 无论是工程落地还是科学研究都能有所收获；

  • 学习课程后，达到1-2年左右VLA从业经验；

开课说明

2025.1.20号开课，离线视频教学，预计3个月结课。由于课程是虚拟商品，购买后不支持退款。

a144889d62ab2fab7ef958378e848bb3.png

购买课程

欢迎微信扫码学习试听！早鸟88折优惠

2767382c961c7646e71b627a87b88df0.png

更多问题咨询小助理微信

0135fcbaa89bed6072ac5140a6666987.jpeg

具身智能中的（VLA）算法与实践 第4讲：RoboFlamingo算法详解
u012133341的博客
07-21 98
摘要： 本文深入探讨了RoboFlamingo，一种基于大规模视觉语言模型（VLMs）的机器人学习方法。通过利用预训练的Flamingo架构，RoboFlamingo能够高效地将多模态感知能力迁移到机器人任务中，显著提升泛化能力和数据效率。文章详细分析了VLM在机器人领域的优势，包括零样本感知、语义理解和开放世界操作能力，并提供了代码实现示例，展示如何加载和微调预训练VLM以适应机器人任务。关键改进包括时间序列处理、门控交叉注意力机制和优化训练流程，为构建高性能机器人系统提供了实践指导。
【具身智能算法入门】VLM/VLA 算法入门指南
kakaZhui的博客
05-10 1528
人工智能的浪潮正从纯粹的语言理解和生成，涌向更广阔、更复杂的具身智能 (Embodied AI)领域。我们不再满足于让 AI 在数字世界中处理文本，而是期望它们能够感知物理世界、理解多模态信息、并基于此进行决策和行动。在这个激动人心的前沿，视觉语言模型 (Vision-Language Models, VLM)和视觉语言 Agent (Vision-Language Agents, VLA)扮演着核心角色。
具身智能端到端大模型VLA (Vision Language Action)
热门推荐
具身智能机器人
01-06 1万+
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
明日开课！自动驾驶VLA三大体系学习路线图：算法+实践
最新发布
CV_Autobot的博客
10-19 250
为了让同学们更好的理解和掌握自动驾驶VLA，第六章的大作业我们从网络构建开始，基于ms-swift框架，自定义数据集和加载模型，开启自己的训练任务并进行微调，并提供V-L-A各部分的代码解读以及可修改优化的demo。目前从事多模态感知、自动驾驶VLA、大模型Agent等前沿算法的预研，并已主持和完成多项自动驾驶感知和大模型框架工具，拥有丰富的自动驾驶、大模型研发和实战经验。目前从事在线建图感知、自动驾驶VLA、大模型Agent等前沿算法的预研，拥有丰富的自动驾驶、大模型研发和实战经验。
端到端自动驾驶大模型：视觉-语言-动作模型 VLA
AIgraphX
12-15 6613
随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。
国内首个！面向工业与科研的视觉语言动作VLA算法实战教程！
CV_Autobot的博客
12-22 1785
谈机器人，离不开具身智能......具身智能是一种融合人工智能与机器人技术的创新形式，强调机器人在感知、理解和环境互动中的能力。与传统智能系统不同，具身智能通过物理形式直接与世界交互，从而完成更复杂的任务。其核心在于让机器“身体力行”，以灵活、智能的方式工作，可以说，是机器人领域的GPT时刻。尤其在工业领域，具身智能的应用日益增多，例如 Figure AI 和特斯拉的人形机器人等。这些机器人旨在解...
51c自动驾驶~合集10
weixin_40796680的博客
08-03 225
#端到端任务说起端到端，每个从业者可能都觉得会是下一代自动驾驶量产方案绕不开的点！特斯拉率先吹响了方案更新的号角，无论是完全端到端，还是专注于planner的模型，各家公司基本都投入较大人力去研发，小鹏、蔚来、理想、华为都对外展示了其端到端自动驾驶方案，效果着实不错，非常有研究价值。为什么需要端到端？首先我们聊一下当前的主...
具身智能中的（VLA）算法与实践——第一讲 基础与概览
u012133341的博客
07-21 1268
本文介绍了视觉-语言-动作(VLA)模型的基础概念及其在AI领域的重要性。VLA模型通过融合多模态数据实现具身智能，使AI系统能感知环境并执行物理动作。文章探讨了大型语言模型(LLMs)和视觉语言模型(VLMs)如何赋能具身智能，包括指令解析、场景理解和动作规划。同时提供了Python、PyTorch/TensorFlow开发环境的详细搭建指南，包含GPU配置建议和测试代码。VLA模型在机器人操作、导航、人机协作等领域具有广泛应用前景，是实现通用人工智能的关键技术。
VLA算法总结对比——RT1 / RT2 / Pi0 / Octo/ RDT / OpenVLA
weixin_44580210的博客
05-05 5319
本文主要针最近比较经典的VLA算法进行对比总结，暂不涉及到代码细节和实验细节上的展开，仅仅是从大面上掌握下目前VLA的一些思路和方法。
具身智能中的（VLA）算法与实践 第21讲：CogACT训练实践——分层VLA模型的深度训练策略与复杂代码实现
u012133341的博客
07-25 120
本文深入探讨了CogACT框架下分层视觉-语言-动作(VLA)模型的训练策略。作者从模型结构、训练方法到代码实现进行了全面分析，重点比较了分阶段训练和联合训练两种策略。分阶段训练通过逐步构建能力的模块化方法降低了复杂性，而联合训练则采用端到端优化实现全局对齐。文章详细介绍了模型架构设计、数据流处理、损失函数构建等关键技术，并提供了完善的代码实现，包括使用Gumbel-Softmax解决梯度穿透性问题。最后总结了训练对齐的关键技巧和注意事项，为机器人学习和具身智能领域的模型训练提供了实用指导。
全新范式！LLaDA-VLA：首个基于大语言扩散模型的VLA模型
weixin_44887311的博客
09-15 481
本研究提出LLaDA-VLA，首个基于大语言扩散模型的视觉-语言-动作模型。通过引入局部化特殊Token分类（LSC）降低跨域迁移难度，采用层级化动作结构解码（HAD）提升轨迹合理性。在SimplerEnv、CALVIN和真实机器人WidowX实验中均超越现有方法，验证了扩散模型在机器人控制中的潜力。该工作为预训练多模态扩散模型在机器人领域的应用提供了新范式。
视觉语言动作模型（VLA）及其应用：一文带你轻松掌握！
2401_85343303的博客
06-21 2509
摘要：视觉语言动作模型(VLA)已成为自动驾驶和机器人领域的前沿AI技术，其通过融合视觉和语言信号实现场景理解与智能决策。VLA具有预训练高效、人机交互自然、端到端统一训练等优势，最早由Google RT-2项目提出。当前机器人领域已实现VLA双层专家系统架构，而汽车领域Wayve、理想、小鹏等企业正加速应用落地。文章详细解析了VLA的技术原理、发展历程及产业应用现状，指出VLA是Physical AI的核心实现路径，但强调先进技术需转化为良好用户体验。文末提供大模型学习资源获取方式。（149字）
具身智能VLA（视觉-语言-动作）入门+RTX4060+Ubuntu22.04
hzm8341的博客
01-15 1218
从2024年的11月20日开始到现在差不多有2个月，总结一下这段时间的VLA学习经历。
端到端VLA模型架构：让机器“知行合一”的工程实践
zhaoyqcsdn的博客
04-13 2631
尽管面临数据与解释性挑战，但其在复杂任务中的潜力已初见端倪——从Google RT-2的零样本泛化能力，到PaLM-E的多任务统一建模，端到端架构正成为具身智能的核心载体。未来的机器人将不再依赖繁琐的手工编程，而是像人类一样，通过“看-想-动”的连贯过程，自主适应瞬息万变的物理世界。这种“流水线”模式看似分工明确，却存在致命缺陷——各模块间的信息损失、误差累积和延迟叠加，导致系统难以应对动态复杂任务（如“避开移动障碍物并抓取摇晃的杯子”）。：根据图像和指令“向左/右移动方块”，控制机械臂末端水平移动。
开源项目VLABench最佳实践教程
gitblog_01043的博客
04-27 382
开源项目VLABench最佳实践教程 1、项目介绍 VLABench是一个面向机器学习研究者的开源项目，旨在提供一个统一的、易于使用的评估框架，用于对各种机器学习模型进行基准测试。该项目提供了多个数据集和预训练模型，使得研究者可以方便地比较不同算法的性能。 2、项目快速启动 要快速启动VLABench，你需要遵循以下步骤： 首先，确保你已经安装了Python环境。然后，通过以下命令克隆项目： gi...
VLA模型（具身智能入门十）
weixin_39699362的博客
07-17 5073
Vision Language Action（VLA）模型VLA模型是机器人领域的“感知-理解-执行”一体化框架，通过Transformer架构融合视觉、语言、动作模态，核心目标是让机器人在自然语言驱动下，自主完成复杂操控任务。其定义的核心在于“跨模态统一”与“具象化行动”——不仅能“看懂”“听懂”，更能“做出正确的动作”，是实现通用机器人智能的关键方向。提供通用序列建模骨架，让视觉、语言、动作能以“序列”形式统一处理；ViT将视觉输入转换为序列特征，提供“看”的能力；LLMs。
具身智能中的（VLA）算法与实践 隐式端到端VLA：第二讲 基于行为克隆的方法
u012133341的博客
07-21 128
摘要： 本文深度解析了隐式端到端视觉-语言-动作（VLA）模型的核心架构与实现方法。重点探讨了基于行为克隆的VLA模型设计，涵盖视觉编码器（CNN/ViT）、语言编码器（Transformer）、多模态融合模块（交叉注意力）和动作解码器的技术细节。文章对比了离散动作令牌、连续动作及混合动作块三种表示方式的优劣，并通过PyTorch代码示例演示了多模态数据预处理、动作离散化映射及动作解码器的实现。该框架通过统一神经网络直接映射感知输入到机器人动作输出，为具身智能提供高效解决方案，兼具算法理论分析与工程实践指导
机器人VLA模型（Vision-Language-Action）
MzKyle的博客
07-07 3470
VLA（Vision-Language-Action）模型的核心是构建视觉、语言、动作的多模态闭环系统，实现从感知到执行的端到端映射。
《具身智能开发实战：基于VLA模型的机器人感知系统构建指南》
2503_93183357的博客
09-09 2772
本文系统介绍了基于VLA模型的具身智能机器人感知系统开发方法。首先解析了具身智能的核心特征与VLA模型的技术原理，对比了主流架构。重点阐述了ATE跨本体泛化框架、世界模型增强和多模态感知融合等关键技术实现。提供了从环境配置、模型部署到真机集成的完整开发流程指南，并分享了工业质检、家庭服务等典型应用案例。文章指出当前面临实时性、安全性等技术挑战，预测未来将向多模态大模型融合等方向发展。为开发者提供了开源资源获取渠道，对具身智能系统开发具有实践指导价值。
是否可以仿照TintVLA,把VLM和diffusion policy结合来实现一个新的VLA算法
06-29
<think>我们结合用户的问题和提供的引用资料，用户希望探索将视觉-语言模型（VLM）与扩散策略结合，以创建新的视觉-语言-动作（VLA）算法的可能性。根据引用[2]和引用[3]，现有的VLA模型如OpenVLA使用了视觉编码器（DinoV2和SigLIP）和语言模型（Llama2）来预测机器人的动作。而扩散模型在生成任务中表现出色，如引用[4]提到的扩散模型在图像生成和编辑方面的进展，以及引用[3]中提到的Octo和π₀模型使用了扩散模型来处理动作预测。因此，结合VLM和扩散策略的一种思路是：利用VLM（如CLIP）处理视觉和语言输入，生成联合表示，然后使用扩散模型来生成动作序列。具体设计步骤可能包括：1.**视觉和语言编码**：使用预训练的视觉编码器（如DinoV2或CLIP的视觉编码器）处理图像输入，使用文本编码器（如CLIP的文本编码器或语言模型）处理语言指令，然后将它们投影到同一嵌入空间并融合（例如通过拼接或注意力机制）。2.**扩散模型的动作生成**：将融合后的表示作为条件输入到扩散模型中，扩散模型负责生成动作序列。扩散模型通过逐步去噪的过程，从随机噪声生成目标动作分布。引用[3]中提到，Octo采用Transformer+扩散模型，可支持多相机和多类型任务。我们可以借鉴这种结构，将VLM的输出作为扩散模型的输入条件。具体架构设计如下： -**输入**：图像观测$I$和语言指令$L$。 -**视觉编码器**：$V(I)$，例如使用CLIP的视觉编码器。 -**语言编码器**：$T(L)$，例如使用CLIP的文本编码器或一个语言模型（如BERT）。- **融合模块**：将$V(I)$和$T(L)$融合为一个联合表示$Z$。融合方式可以是简单的拼接，或者通过一个交叉注意力层（让视觉特征和语言特征相互关注）。- **扩散模型**：以$Z$为条件，生成动作序列$A$。扩散模型通常包括一个噪声预测网络（如U-Net结构），在训练时学习从带噪声的动作逐步去噪。训练过程：1.收集数据集：包含三元组$(I,L,A)$，其中$A$是专家演示的动作序列。2.训练融合模块和扩散模型：固定预训练的视觉和语言编码器，只训练融合模块和扩散模型。扩散模型的训练目标是最小化噪声预测的均方误差。推理过程：给定新的图像和语言指令，通过编码器和融合模块得到$Z$，然后使用扩散模型从随机噪声开始，逐步去噪生成动作序列。这种结合的优势：- VLM能够理解复杂的视觉和语言指令，提供丰富的条件信息。-扩散模型能够生成复杂的多模态动作分布，适合机器人任务中可能存在的多种解决方案。挑战：-计算开销：扩散模型需要多步迭代，可能影响实时性。但可以通过蒸馏或加速采样方法（如DDIM）缓解。 -如何有效融合视觉和语言信息，使其能够准确指导动作生成。参考引用[3]中OpenVLA的结构，我们可以将扩散模型替换掉原来的LLM预测动作的部分。即原来的OpenVLA使用LLM直接预测动作，而我们使用扩散模型来生成动作。因此，新的VLA算法架构可以描述为：$$\begin{aligned}\text{视觉编码器}&: \quad V(I)\in\mathbb{R}^{d_v} \\\text{语言编码器}& :\quadT(L) \in \mathbb{R}^{d_t} \\\text{融合模块} &: \quad Z= \text{Fusion}(V(I), T(L))\in\mathbb{R}^{d_z} \\\text{扩散模型} &: \quad A\simp(A|Z) \quad \text{（通过扩散过程生成）} \end{aligned} $$其中，扩散模型的条件生成过程可以表示为：$$p(A|Z)= \int p(A^0|A^1, Z) p(A^1|A^2,Z)\cdotsp(A^{T-1}|A^T, Z) p(A^T)dA^{1:T} $$这里$A^T$是纯高斯噪声，$A^0$是目标动作序列。以上是一种结合VLM和扩散策略的VLA算法设计思路。相关问题：1.如何评估这种结合了扩散模型的VLA算法的性能？2.在机器人控制任务中，扩散模型相比直接预测动作的模型（如Transformer）有哪些优势？3.如何减少扩散模型在实时控制中的计算延迟？</think>### 结合视觉语言模型（VLM）与扩散策略设计新型VLA算法 #### 核心设计思路 将VLM的跨模态理解能力与扩散模型的生成能力结合，构建端到端的**视觉-语言-动作（VLA）** 框架： 1. **输入层** - 视觉输入：图像观测$I_t$（如摄像头画面） - 语言输入：文本指令$L$（如“抓取红色方块”） - 通过VLM（如CLIP[^1]）编码为联合特征： $$ Z = \text{VLM}_{\text{encoder}}(I_t, L) \in \mathbb{R}^d $$ 2. **扩散策略层** - 以$Z$为条件初始化扩散过程，生成动作序列分布： $$ p(A_t | Z) = \text{Diffusion}_{\theta}(A_t^0 | Z) $$ - 扩散模型采用**条件去噪网络**（如U-Net结构），在时间步$t$预测噪声： $$ \epsilon_\theta(A_t^k, k, Z) \quad k=1,...,T $$ 3. **动作解码层** - 输出7维机器人控制动作（位置+姿态）： $$ A_t = [x, y, z, q_x, q_y, q_z, \text{gripper}] $$ #### 关键技术实现 | 组件 | 实现方案 | 作用 | |---------------|--------------------------------------------------------------------------|----------------------------------------------------------------------| | **视觉编码** | DinoV2 + SigLIP特征融合[^2] | 提取细粒度视觉语义 | | **语言对齐** | 文本特征投影到视觉空间（参考OpenVLA[^2]） | 建立跨模态关联 | | **扩散策略** | 时间条件扩散模型（Flow Matching架构[^3]） | 生成连续动作分布，处理多模态任务 | | **训练目标** | 最小化动作预测误差：$\mathcal{L} = \mathbb{E} \| A_t - A_{\text{gt}} \|^2$ | 端到端优化 | #### 创新优势 1. **多模态理解**：VLM解析复杂指令（如“避开障碍后推门”），扩散模型生成符合物理约束的动作序列[^1][^3] 2. **零样本泛化**：预训练VLM提供开放词汇理解能力，扩散策略处理未见任务[^2] 3. **抗干扰性**：扩散模型通过随机噪声注入增强鲁棒性，适应动态环境变化 #### 挑战与解决方案 | 挑战 | 解决方案 | |-----------------------------|--------------------------------------------------------------------------| | 实时性不足 | 采用DDIM加速采样，压缩扩散步数至10步内 | | 动作-语言对齐偏差 | 引入对比损失：$\mathcal{L}_{\text{align}} = -\log \frac{e^{\text{sim}(A,Z)}}{\sum e^{\text{sim}(A,Z_{\text{neg}})}}$ | | 高维动作空间探索效率低 | 分层扩散：首先生成目标坐标，再生成关节轨迹 | #### 典型应用流程 ```mermaid graph LR A[图像观测 I_t] --> B{VLM编码器} C[语言指令 L] --> B B --> D[联合特征 Z] D --> E[扩散策略网络] E --> F[动作序列 A_t] F --> G[机器人执行] ``` ### 设计验证建议 1. **基准测试**：在CALVIN或LIBERO数据集评估多任务成功率[^3] 2. **消融实验**： - 对比纯VLA架构（如OpenVLA[^2]） - 替换扩散层为Transformer/MLP解码器 3. **硬件部署**： - 使用LoRA微调压缩Llama2骨干网络[^2] - 量化扩散模型至INT8精度 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值