OpenVLA: An Open-Source Vision-Language-Action Model

发表时间：13 Jun 2024

作者单位：Stanford University

Motivation: the potential to change how we teach robots new skills。然而，VLA 对机器人技术的广泛采用具有挑战性，因为 1）现有的 VLA 在很大程度上是封闭的并且公众无法访问的，以及 2）先前的工作未能探索为新任务有效地微调 VLA 的方法，这是采用的关键组成部分。

解决方法：OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations（模仿学习）。OpenVLA 采用更端到端的方法，直接微调 VLM 通过将机器人视为语言模型词汇表中的token来生成机器人动作。我们的实验评估表明，这种简单但可扩展的pipline大大提高了先前generalist策略的性能和泛化能力。

实现方式：

模型结构：With a 600M-parameter visual encoder, a small 2-layer MLP projector, and a 7B-parameter Llama 2 language model backbone.