OpenVLA-首个开源视觉语言动作大模型

官网：https://openvla.github.io/

现在大模型已经卷到了机器人领域。 在视觉语言模型（VLM）的基础上， 加入机器人的动作（Action) 这一模态， 视觉语言动作大模型（VLA）是目前大模型应用于机器人的流行方法。

在VLA这个领域， 比较著名的工作当数谷歌的RT系列， 有RT-1， RT-2, RT-X等等。 但是RT系列没有开源代码， 想要复现还是有难度的。 最重要的是， 没有提供fine-tune的方法， 无法根据自己的需要进行微调。

与RT-2 相比， OpenVLA有以下4个优势：

• 1 相比RT2-x效果更好， 但模型更小；
• 2 对finetune进行了探索；
• 3 可以进行高效fine-tune， 可量化
• 4 开源

整体架构：

与其他方法的对比：

finetune 对比：

高效微调对比：

量化效果对比：

局限：
1 只支持单张图像， 2 提高推理速度 3 成功率有待提高， 目前<90% 4 其他问题待探索

资源：
pretrain: 64 A100 14day
finetune: 8 A100 5~15hour
LoRA: 1 A100 10~15hour
inference: 15GB