3D VLA新范式！CVPR冠军方案BridgeVLA，真机性能提升32%

Python_金钱豹

于 2025-06-29 10:45:00 发布

阅读量834

点赞数 17

CC 4.0 BY-SA版权

文章标签： 3d 网络服务器 java 人工智能算法

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/148981169

近年来，视觉-语言-动作（VLA）模型在机器人操作任务中大放异彩，成为推动通用机器人操作的重要引擎。

但现有的VLA模型，大多只以2D信息作为输入，且需要大量的机器人数据进行微调；

反观以PerAct，RVT-2为代表的3D操作策略，通常仅需要10条轨迹就能够取得不错的效果，因此，一个很自然的想法是，是否能将现有的2D VLA升级为3D VLA，使其同时兼具2D VLA的效果以及3D操作策略的效率？

中科院自动化所的研究人员提出的BridgeVLA给出了肯定的回答！

论文链接：https://www.arxiv.org/abs/2506.07961

项目主页：https://bridgevla.github.io/home_page.html

实验表明，BridgeVLA仅需采集3条轨迹就能在基础设置中实现**96.8%**的任务成功率。

在多种泛化性设置中，比如未见过的干扰物、高度、光照、物体种类以及未见过的物体技能组合等，BridgeVLA展现出碾压式的性能，相较于基线模型取得了**32%**的性能提升。

在仿真中，BridgeVLA屠榜了主流3D机器人操作基准，在RLBench、COLOSSEUM、GemBench等三个仿真基准中均取得了最先进的性能。

2D VLA的泛化，3D Policy的效率，这下全部打包带走！

缩小VLM和VLA之间的迁移差距

图1. BridgeVLA统一输入与输出的方案，兼顾泛化性与高效性

近来，OpenVLA、pi0等2D VLA架构在机器人领域取得了广泛关注，它们借助预训练多模态大模型强大的表征能力，将自然语言指令、图像观测与动作预测串联在一起，展现出很强的泛化能力。

然而，这类型2D VLA所带来的代价同样很大：为了让模型真正学会每个任务，往往需要上百条专家演示。这其中的数据收集、清洗与标注需要高昂的人力成本，很难在更大规模的工业场景下落地。

与此同时，研究者们发现，如果直接在3D空间中学习动作策略，凭借3D输入蕴含的显式空间结构信息，模型只需极少的轨迹就能掌握操作技能，具有很高的数据效率。

因此，理论上来讲，将3D信息和VLA相结合是有可能构造出一个高性能且高效率的3D VLA模型的。然而，当前已有的3D VLA模型却并未实现上述期待。

BridgeVLA的研究团队发现，这背后有两个方面的原因：

1）这些方案输出形式割裂。大多数3D VLA方法把动作输出建模为 token 序列，这样的做法割裂了动作输出与观测输入之间的空间对应关系，难以充分利用三维几何信息。

2）这些方案的输入和预训练多模态大模型的输入分布不匹配。预训练VLM是以2D 图像作为输入的，而这与微调阶段的3D 输入分布差异巨大，导致直接迁移效果不佳。

基于这些观察，BridgeVLA的研究团队提出：如果将3D输入与动作输出都统一到2D空间，同时将预训练阶段的输入和输出也统一到2D空间的话，将可以同时继承2D VLA的泛化能力与3D操作策略的数据效率。

BridgeVLA是如何设计的？

图2. BridgeVLA 2D热度图预训练与3D动作微调结构图

BridgeVLA的训练流程主要分为两个阶段：首先是2D 热度图预训练，然后是3D动作微调。预训练阶段主要用于提升模型的空间感知能力，使其具备从图像和语言描述中精准定位目标区域的能力；而微调阶段则通过三视角图像进行动作预测，完成具体的 3D 操作策略学习。

传统的预训练多模态大模型在预训练阶段主要通过预测token 序列来完成分类或生成任务，而这样的token序列并不具备任何的空间结构。

为了使模型具备空间定位能力，BridgeVLA 设计了一种热度图预训练方式，训练模型根据文本指令预测关于目标对象位置的概率热度图，并使用了 RoboPoint 中的目标检测数据集进行预训练。

在模型结构上，BridgeVLA使用了由SigLIP视觉编码器和Gemma Transformer构成的PaliGemma作为VLM主干。

预训练时，模型的输入为图像与其对应的文本描述（如图中红色的杯子在哪），然后通过PaliGemma提取特征，最后使用一个可学习的上采样模块生成与原图同分辨率的热度图。

整个过程采用交叉熵损失进行监督训练。这种预训练策略使VLM获得了空间感知能力，能够根据语言描述在图像中精准定位目标区域，为后续下游3D操作策略学习提供帮助。

在微调阶段，模型的目标是根据3D点云和语言指令输出合理的机器人动作。

具体来说，BridgeVLA首先从顶部、正面和右侧三个方向将点云渲染为三幅2D图像，并将其作为输入送入经过重新预训练的 VLM 主干网络。模型随后会为每个视角生成一张2D 热度图。

为了保持微调与预训练的一致性，VLM 的输入中不包含机器人状态或其他非视觉信息，从而避免输入分布偏移。通过结合深度图和相机参数，三个热度图可以被反投影，从而得到末端执行器的位置估计。

末端执行器的旋转姿态和夹爪开闭状态则通过额外引入的MLP进行预测。

泛化性能与采样效率的兼得

BridgeVLA在多个主流3D操作榜单上都取得了最先进的性能。在RLBench中成功率达88.2%，相较于基准模型提升了6.8%

而在环境出现颜色、材质、物体大小等12种干扰的COLOSSEUM环境中相较于之前SoTA方法提升了7.3%，在同样极具挑战的GemBench环境中，即使面对全新位置、全新物体的考验，BridgeVLA也取得了最佳的50%的成功率。

这些实验都证明了BridgeVLA具备很强的泛化能力，充分利用了预训练多模态模型中蕴含的丰富视觉与语言先验知识。

图3. BridgeVLA 在RLBench上的实验结果

图4. BridgeVLA 在COLOSSEUM上的实验结果

图5. BridgeVLA 在GemBench上的实验结果

BridgeVLA同时在真机实验中进行了大规模实验，BridgeVLA可以很好的克服干扰物、不同高度、不同光照条件、不同背景的影响，同时也具有一定的组合泛化能力、和全新物体的泛化能力，这都得益于预训练骨干网络中蕴含的先验特征。

同时BridgeVLA也证明了其极高的数据效率，仅仅使用3条轨迹就可以达到96.8%的基础任务成功率，几乎与使用10条轨迹训练的版本持平，结果表明BridgeVLA不仅泛化能力强，而且对数据要求极低，非常适合在真实机器人系统中部署与扩展。

图6. BridgeVLA 在真机实验上的实验结果

BridgeVLA通过统一预训练的输入输出到二维图像空间，建立起了一个高性能且高数据效率的3D VLA新范式。

可以预见，未来将有更多类似的探索推动 VLA 模型持续演进，迈向新的高度。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述