视觉语言动作模型：从网页知识到机器人控制的实战RT-2

关注

VIP免费原创最新推荐文章于 2026-09-30 21:44:41 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

RT-2(robotics-transformer2)论文翻译——2 谷歌RT-2的论文翻译阅读详情

作者：

Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, Alexander Herzog, Jasmine Hsu, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Isabel Leal, Lisa Lee, Tsang-Wei Edward Lee, Sergey Levine, Yao Lu, Henryk Michalewski, Igor Mordatch, Karl Pertsch, Kanishka Rao, Krista Reymann, Michael Ryoo, Grecia Salazar, Pannag Sanketi, Pierre Sermanet, Jaspiar Singh, Anikait Singh, Radu Soricut, Huong Tran, Vincent Vanhoucke, Quan Vuong, Ayzaan Wahid, Stefan Welker, Paul Wohlhart, Jialin Wu, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu, and Brianna Zitkovich Google DeepMind. Authors listed in alphabetical order, with contributions listed in Appendix A.

我们研究了如何将在互联网规模数据上训练的视觉-语言模型，直接整合到端到端的机器人控制中，以提高泛化能力，并实现涌现语义推理。我们的目标是使一个经过端到端训练的模型既能学习将机器人的观察映射到动作上，又能享受到在网络上对语言和视觉-语言数据进行大规模预训练的好处。为此，我们建议将最先进的视觉-语言模型，在机器人轨迹数据和互联网规模的视觉-语言任务（如视觉问题回答）上进行联合微调。与其他方法不同，我们提出了一个简单、通用的配方来实现这个目标：为了将自然语言token和机器人动作放入同一格式，我们将动作表达为文本标记，并将其直接纳入模型的训练集，就像自然语言标记一样。我们将此类模型称为视觉-语言-动作模型（VLA），并实例化了这样一个模型，我们称之为RT-2。我们的广泛评估（6000次评估试验）显示，我们的方法导致了高效的机器人策略，并使RT-2获得了从互联网规模训练中获得的一系列新兴能力。这包括显著提高对新对象的泛化能力，理解不在机器人训练数据中的命令（如，将对象放在特定的数字或图标上）的能力，以及根据用户命令执行初级推理的能力（如拾起最小或最大的对象，或离另一个对象最近的对象）。我们进一步展示了，将思维链推理纳入其中，允许RT-2执行多阶段语义推理，例如弄清楚应拾起哪个物体作为临时的锤子（一块石头），或者哪种类型的饮料最适合疲倦的人（一种能量饮料）。

介绍

在广泛的网页规模数据集上预训练的高容量模型为各种下游任务提供了有效而强大的平台：大型语言模型不仅能使文本生成流畅（Anil等人，2023; Brohan等人，2022; OpenAI，2023），而且能解决新出现的问题（Cobbe等人，2021; Lewkowycz等人，2022; Polu等人，2022）并创造性地生成散文（Brown等人，2020; OpenAI，2023）和代码（Chen等人，2021），而视觉-语言模型则能实现开放词汇的视觉识别（Kirillov等人，2023; Minderer等人，2022; Radford等人，2021），甚至可以对图像中的对象-代理交互进行复杂推理（Alayrac等人，2022; Chen等人，2023a,b; Driess等人，2023; Hao等人，2022; Huang等人，2023; Wang等人，2022）。这样的语义推理、问题解决和视觉解释能力对于必须在现实环境中执行各种任务的通用机器人来说，将非常有用。然而，如何让机器人获得这些能力却不明确。虽然暴力方法可能包括收集数百万次机器人交互试验，但最有能力的语言和视觉-语言模型是在网络上对数十亿个标记和图像进行训练的（Alayrac等人，2022; Chen等人，2023a,b; Huang等人，2023） - 这是近期内不太可能用机器人数据匹敌的。另一方面，直接将这些模型应用到机器人任务上也很困难：这些模型处理语义、标签和文本提示，而机器人需要进行基础的低级动作，如笛卡尔末端执行器指令。尽管最近有一些工作试图将语言模型（LLMs）和视觉-语言模型（VLMs）整合到机器人技术中（Ahn等人，2022; Driess等人，2023; Vemprala等人，2023），但这些方法通常只解决机器人规划的“高级”方面，基本上扮演一个状态机的角色，解释命令并将它们解析为个别的原始指令（如拾取和放置对象），然后由独立的低级控制器执行，这些控制器在训练过程中并未从网络规模模型的丰富语义知识中受益。因此，在这篇论文中，我们提出了一个问题：大型预训练视觉语言模型能否直接集成到低级机器人控制中，以提高泛化能力并实现新兴的语义推理呢？

图1 ，RT-2概述：我们将机器人动作视为另一种语言，它可以转化为文本标记并与互联网规模的视觉-语言数据集一起进行训练。在推理过程中，文本标记被反标记化为机器人动作，实现闭环控制。这允许我们在学习机器人策略时利用视觉-语言模型的主干和预训练，将它们的一部分泛化、语义理解和推理能力转移到机器人控制上。我们在项目网站上展示了RT-2执行的一些例子：robotics-transformer2.github.io。

为此，我们探索了一种既简单又惊人地有效的方法：我们直接训练视觉-语言模型，这些模型旨在进行开放词汇视觉问题回答和视觉对话，输出低级别的机器人动作，并解决其他互联网规模的视觉-语言任务。虽然这些模型通常训练生成自然语言标记，但我们可以通过将动作标记化为文本标记，并创建“多模态句子”（Driess等人，2023），通过产生相应的动作来“回应”与相机观察配对的机器人指令，训练它们在机器人轨迹上。这样，视觉-语言模型可以直接训练以作为指令执行的机器人策略。这种简单的方法与先前将VLMs整合入机器人策略的替代方案（Shridhar等人，2022a）或者从头开始设计新的视觉-语言-动作架构（Reed等人，2022）形成鲜明对比：相反，预存在的视觉-语言模型，已经摊销了大量的计算投入，无需任何新的参数就可以输出文本编码的动作。我们将这类模型称为视觉-语言-动作（VLA）模型。我们根据RT-1（Brohan等人，2022）提出的协议实例化VLA模型，使用类似的数据集，但扩展模型以使用大型视觉-语言主干。因此我们将我们的模型称为RT-2（Robotics Transformer 2）。我们在图1中提供了一个概述。

我们观察到,从这种视觉语言模型派生的机器人策略展现出一系列令人惊叹的能力,它将从机器人数据中学习的物理运动与从网络数据中学习的图像和文本解释能力结合在一个模型中。除了极大改进对新对象和语义各异指令的概括能力的预期好处外,我们还观察到了一些新出现的能力。虽然模型的物理技能仍然局限于机器人数据中的技能分布,但模型通过使用从网络中汲取的知识来解释图像和语言命令,以新的方式部署那些技能的能力。一些示例亮点如图2所示。模型能够将从机器人数据中学习的抓取放置技能重新用于将对象放置在语义指示的位置附近,例如特定数字或图标,尽管这些暗示在机器人数据中不存在。模型还可以解释对象之间的关系,以确定要抓取哪个对象并将其放在何处,尽管机器人演示中没有提供此类关系。此外,如果我们用思维链提示来增强命令,模型能够进行更复杂的语义推理,例如弄清楚哪个对象可以用作临时锤子(一块岩石)以及哪种饮料最适合疲倦的人(能量饮料)。

我们的主要贡献是RT-2,这是一系列从在网络规模数据上预训练的大型视觉语言模型微调获得的模型家族,可直接用作泛化且语义感知的机器人策略。我们的实验调查了在互联网数据和来自前人工作(Brohan等人,2022年)的带注释的机器人轨迹指令上训练的参数高达55B的模型。在6k次机器人评估中,我们显示RT-2可以显着改进对象、场景和指令的泛化,并展示从网络规模视觉语言预训练继承的各种涌现的能力。

相关工作

视觉-语言模型 Vision-language model

有几个类别的视觉-语言模型VLM（Gan等人，2022），其中可能最相关的是：（1）表示学习模型，例如CLIP（Radford等人，2021），它学习了两种模态的通用嵌入；以及（2）形式为f（视觉）文本g → f（文本）g的视觉语言模型，它们学习将视觉和语言作为输入，并提供自由形式的文本输出。这两类模型已经被用于为各种应用于物体分类（Radford等人，2021）、检测（Gu等人，2021）和分割（Ghiasi等人，2021）等下游任务提供预训练。在这项工作中，我们专注于后一类模型（Alayrac等人，2022；Chen等人，2023a,b；Driess等人，2023；Hao等人，2022；Li等人，2023、2019；Lu等人，2019）。这些模型通常同时在多个数据集上进行训练，包括图像字幕生成、视觉问题回答（VQA）和通用语言任务。虽然先前的研究涵盖了各种各样的问题和设置，包括机器人学，但我们的重点是如何将VLMs的能力扩展到机器人的闭环控制中，通过赋予它们预测机器人动作的能力，从而利用VLMs已有的知识，实现新的泛化水平。

机器人学习通用化 Generalization in robot learning

开发能够在各种场景中广泛成功的机器人控制器一直是机器人研究的长期目标（Kaelbling，2020；Smith和Coles，1973）。实现机器人操纵的泛化的一个有希望的方法是通过学习大规模且多样化的数据集（Dasari等人，2019；Levine等人，2018；Pinto和Gupta，2016）。通过这样做，先前的方法已经展示了机器人如何泛化到新颖的物体实例（Finn和Levine，2017；Levine等人，2018；Mahler等人，2017；Pinto和Gupta，2016；Young等人，2021）、涉及新颖的物体和技能组合的任务（Dasari和Gupta，2021；Finn等人，2017；James等人，2018；Jang等人，2021；Yu等人，2018）、新目标或语言指令（Jang等人，2021；Jiang等人，2022；Liu等人，2022；Mees等人，2022；Nair等人，2022a；Pong等人，2019）、具有新的语义物体类别的任务（Shridhar等人，2021；Stone等人，2023）以及未知环境（Cui等人，2022；Du等人，2023a；Hansen等人，2020）。与大多数先前的工作不同，我们的目标是开发和研究一个单一模型，可以沿着所有这些维度泛化到未知条件。我们方法的一个关键要素是利用预训练模型，这些模型接触到的数据比机器人所见的数据要广泛得多。

预训练在机器人学习

Pre-training for robotic manipulation

预训练在机器人学习中有着悠久的历史。大多数研究侧重于预训练视觉表示，这些表示可用于初始化机器人相机观测的编码器，可以通过监督式ImageNet分类（Shah和Kumar，2021）、数据增强（Kostrikov等人，2020；Laskin等人，2020a,b；Pari等人，2021）或针对机器人控制的目标（Karamcheti等人，2023；Ma等人，2022；Majumdar等人，2023b；Nair等人，2022b；Xiao等人，2022b）来实现。其他研究将预训练的语言模型纳入其中，通常作为指令编码器（Brohan等人，2022；Hill等人，2020；Jang等人，2021；Jiang等人，2022；Lynch和Sermanet，2020；Nair等人，2022a；Shridhar等人，2022b）或用于高层规划（Ahn等人，2022；Driess等人，2023；Huang等人，2022；Mu等人，2023；Singh等人，2023；Wu等人，2023）。我们特别考虑的不是使用预训练的视觉模型或预训练的语言模型，而是使用预训练的视觉-语言模型（VLMs），这些模型提供了丰富而有根据的关于世界的知识。先前的研究已经研究了VLMs在机器人学中的应用（Driess等人，2023；Du等人，2023b；Gadre等人，2022；Karamcheti等人，2023；Shah等人，2023；Shridhar等人，2021；Stone等人，2023），并为本研究提供了启示。这些先前的方法使用VLMs进行视觉状态表示（Karamcheti等人，2023）、识别物体（Gadre等人，2022；Stone等人，2023）、高层规划（Driess等人，2023）或提供监督或成功检测（Du等人，2023b；Ma等人，2023；Sumers等人，2023；Xiao等人，2022a；Zhang等人，2023）。虽然CLIPort（Shridhar等人，2021）和MOO（Stone等人，2023）将预训练的VLMs整合到端到端的视觉动作操纵策略中，但两者都融入了相当的策略结构，限制了它们的适用性。值得注意的是，我们的工作不依赖于受限制的二维动作空间，也不需要校准的相机。此外，一个关键区别是，与这些工作不同，我们利用生成语言的VLMs，我们的统一输出空间使得模型权重可以完全在语言和动作任务之间共享，而无需引入仅用于动作的模型层组件。

3. 视觉-语言-动作模型，Vision-Language-Action Models

在本节中，我们介绍我们的模型家族以及为实现训练VLMs直接执行闭环机器人控制而做的设计选择。首先，我们描述了我们模型的通用架构，以及如何从通常用于视觉-语言任务的模型中得出这些模型。然后，我们介绍了在预训练于网络规模数据上的大型VLMs上进行微调的方法和挑战，使其能够直接输出机器人动作，成为VLA模型。最后，我们描述了如何使这些模型在机器人任务中实用化，解决模型大小和推理速度方面的挑战，以实现实时控制。

3.1. Pre-Trained Vision-Language Models

在本研究中，我们构建在视觉-语言模型（Chen等人，2023a；Driess等人，2023）上，该模型接收一个或多个图像作为输入，并生成一系列标记（tokens），传统上表示自然语言文本。这样的模型可以执行广泛的视觉解释和推理任务，从推断图像的构成到回答有关个别物体及其与其他物体之间关系的问题（Alayrac等人，2022；Chen等人，2023a；Driess等人，2023；Huang等人，2023）。表示执行如此广泛任务所需的知识需要大型模型和网络规模的数据集。在本研究中，我们将两个先前提出的VLMs调整为VLA模型：PaLI-X（Chen等人，2023a）和PaLM-E（Driess等人，2023）。我们将这些模型的视觉-语言-动作版本称为RT-2-PaLI-X和RT-2-PaLM-E。我们利用这些模型的实例，其大小从数十亿到数百亿参数不等。关于这两个模型的详细架构，请参见附录D。

图2中，RT-2能够泛化到多种需要推理、符号理解和人类识别的真实世界情境。我们将在第4节详细研究这些具有挑战性的场景。

3.2. Robot-Action Fine-tuning

为了使视觉-语言模型能够控制机器人，我们必须训练它们输出动作。我们采取了一种直接的方法来解决这个问题，将动作表示为模型输出中的标记（tokens），并将其与语言标记以相同的方式处理。我们基于Brohan等人（2022）在RT-1模型中提出的离散化方法来表示动作。动作空间包括机器人末端执行器的6个自由度的位置和旋转位移，以及机器人夹持器的伸展程度，还有一个特殊的离散命令，用于终止本回合（episode），该命令应由策略触发以表示成功完成。连续维度（除了离散终止命令外的所有维度）被均匀地离散成256个区间。因此，机器人动作可以使用离散区间的序数表示为8个整数数字。为了将这些离散化的动作用于微调视觉-语言模型以成为视觉-语言-动作模型，我们需要将模型现
3.3. Real-Time Inference
有标记化的标记与离散动作区间相关联。这需要保留256个标记作为动作标记。选择哪些标记取决于每个VLM所使用的特定标记化方式，我们将在本节后面讨论。为了为VLM微调定义目标，我们将动作向量转换为单个字符串，只需用空格字符连接每个维度的动作标记即可。

这样一个目标的一个可能实例是：“1 128 91 241 5 101 127”。我们在实验中微调的两个VLMs，PaLI-X（Chen等人，2023a）和PaLM-E（Driess等人，2023），使用不同的标记化方式。对于PaLI-X，每个整数（最大值为1000）都有一个唯一的标记，因此我们简单地将动作区间与表示相应整数的标记相关联。对于PaLM-E模型，它不提供这种方便的数字表示，我们只需覆盖最不常用的256个标记来表示动作词汇。值得注意的是，训练VLMs将现有标记覆盖为动作标记是符号微调（symbol tuning）的一种形式，先前的研究已经表明这对VLMs效果良好。

采用上述描述的动作表示，我们将机器人数据转换为适合进行VLM模型微调的数据，其中输入包括机器人摄像头图像和文本任务描述（使用标准的VQA格式：“Q：机器人应该采取什么动作来执行[任务指令]？A：”），而输出则被格式化为一个由数字/最不常用的标记表示机器人动作的字符串。

Co-Fine-Tuning.

正如我们将在实验中展示的那样，训练配方的一个关键技术细节，可以改进机器人性能，就是将机器人数据与原始网络数据一起进行共同微调，而不是仅在机器人数据上进行朴素微调。我们注意到，共同微调可以产生更具泛化性的策略，因为在微调过程中，策略既接触到来自网络规模数据的抽象视觉概念，又接触到低级机器人动作，而不仅仅是机器人动作。在共同微调期间，我们通过增加机器人数据集上的采样权重来平衡每个训练批次中机器人数据和网络数据的比例。

Output Constraint.

RT-2与标准VLMs之间的一个重要区别在于，RT-2必须输出可在真实机器人上执行的有效动作标记。因此，为了确保在解码时RT-2输出有效的动作标记，我们通过在模型收到机器人动作任务时只采样有效的动作标记来限制其输出词汇表，而在标准的视觉-语言任务中，模型仍然可以输出全范围的自然语言标记。

3.3. Real-Time Inference

现代视觉-语言模型的大小可以达到数百亿或数千亿个参数（Chen等人，2023a；Driess等人，2023）。本研究中训练的最大模型使用了550亿个参数。在标准的桌面式计算机或通常用于实时机器人控制的机器人GPU上直接运行这样的模型是不可行的。据我们所知，我们的模型是迄今为止使用最大的直接闭环机器人控制模型，其规模超过一个数量级，因此需要一套新的解决方案来实现高效的实时推理。我们开发了一个协议，允许我们在机器人上运行RT-2模型，通过将它们部署在多TPU云服务上，并通过网络查询该服务。通过这个解决方案，我们可以实现适当的控制频率，并且可以使用同一个云服务为多个机器人提供服务。