核心是让机器人能更灵活、更高效地学会各种任务,还能在不同机器人、不同场景间轻松“迁移能力”,不用像以前那样依赖大量标注好的数据。
1. 先说说以前的机器人政策(控制方法)有啥麻烦?
以前想让机器人干活(比如抓东西、导航),得给它喂大量“带标注的数据”——比如明确告诉它“这步该动机械臂、那步该转摄像头”。而且这些方法有个大问题:
- 只能适配特定机器人(比如训练好的机械臂,换个型号就没用了);
- 场景一换就歇菜(比如在实验室练会了抓杯子,到厨房光线变了、多了其他东西,就不会了);
- 想扩大数据规模很难(网上有很多机器人视频、人类干活的视频,但因为没有“动作标注”,没法直接用)。
2. UniVLA是怎么解决这些问题的?
它的核心思路是:先学一套“通用的隐藏动作语言”,再用这套“语言”训练机器人,最后简单调整就能适配不同机器人/场景。具体分三步:
第一步:学“任务相关的隐藏动作”(不用标注!)
从大量视频(比如机器人干活视频、人类做饭/收拾的视频)里,自动提取出“对完成任务有用的动作”,过滤掉没用的干扰(比如摄像头晃了、旁边有人走过)。
- 怎么过滤?用了两个小技巧:一是参考“语言指令”(比如“把杯子放桌上”,就盯着和“放杯子”相关的动作);二是用现成的图像识别工具(DINOv2),聚焦物体和关键位置(比如机械臂末端、杯子),不看无关背景。
- 还把这些动作“压缩成离散的小单元”(类似语言里的“单词”),方便后续学习。
第二步:训练“通用政策”(会看、会听、会规划)
用第一步得到的“隐藏动作单元”,训练一个“视觉-语言-动作”结合的模型。这个模型能:
- 看场景(比如摄像头拍的画面)、听指令(比如“扫地”);
- 规划出下一步该用哪个“隐藏动作单元”——而且不管是哪种机器人、哪种场景,规划逻辑都通用。
- 关键是:训练成本极低!比之前的主流方法(OpenVLA)少用了1/20的计算资源,却跑得更好。
第三步:简单适配不同机器人(不用从头训!)
每个机器人的“动作方式”不一样(比如有的机械臂6个关节,有的7个),所以最后加一个“小解码器”:把模型规划出的“隐藏动作单元”,翻译成具体机器人能懂的“控制信号”(比如“关节转30度”)。
- 这个解码器很小(只有1000多万参数),不用大量数据,调一调就能用在新机器人上。
3. UniVLA到底行不行?实验结果很能打!
在多个任务上测试,都比以前的方法好:
(1)机器人抓东西/操作(LIBERO、CALVIN等 benchmark)
- 在LIBERO测试里(比如“把碗放进抽屉”“叠毛巾”),用全量数据训练的UniVLA平均成功率95.2%,比之前的OpenVLA(76.5%)高了近20%;哪怕只用少量数据(比如只学人类视频),也比OpenVLA好。
- 面对复杂任务(比如多步操作“放杯子→关柜门”),优势更明显,因为它能聚焦“任务关键动作”。
(2)导航任务(比如室内找路)
在“Room2Room”测试里(按语言指令找目标位置),UniVLA的成功率47.1%,比OpenVLA(1
UniVLA:机器人通用动作学习方案

最低0.47元/天 解锁文章
1332

被折叠的 条评论
为什么被折叠?



