Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models

本文是LLM系列文章，针对《Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models》的翻译。

摘要

最近，人们对利用大型语言模型（LLM）来增强决策过程给予了相当大的关注。然而，将LLM生成的自然语言文本指令与执行所需的矢量化操作对齐是一个重大挑战，通常需要特定于任务的细节。为了避免这种特定任务粒度的需要，受基于偏好的策略学习方法的启发，我们研究了利用多模态LLM仅从图像输入提供自动偏好反馈以指导决策。在这项研究中，我们训练了一种称为CriticGPT的多模态LLM，它能够理解机器人操纵任务中的轨迹视频，并作为评论家提供分析和偏好反馈。随后，我们从奖励建模的角度验证了CriticGPT生成的偏好标签的有效性。对算法偏好准确性的实验评估表明，该算法对新任务具有有效的泛化能力。此外，元世界任务的性能表明，CriticGPT的奖励模型有效地指导了策略学习，超过了基于最先进的预训练表示模型的奖励。

引言

相关工作

CriticGPT:作为评论家的多模态LLM

实验

结论

我们介绍了CriticGPT，这是一种多模态LLM，能够分析和评估机器人操作任务中的轨迹视频。利用CriticGPT的反馈，我们训练奖励模型并指导下游策略学习，展示了基于CriticGPT的人工智能反馈的有效性。C