Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量176

点赞数

CC 4.0 BY-SA版权

分类专栏： Multimodal 文章标签：人工智能语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137922493

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Multimodal

164 篇文章

订阅专栏

本文介绍了一种名为CriticGPT的多模态大型语言模型，它能理解和评价机器人操纵任务的轨迹视频，提供自动反馈。通过奖励建模验证，CriticGPT的偏好标签有效，对新任务具有泛化能力，能有效指导策略学习，超越基于预训练表示模型的奖励。未来，随着数据集的增长，CriticGPT有望在更多视觉机器人任务中发挥作用。

本文是LLM系列文章，针对《Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models》的翻译。

摘要

最近，人们对利用大型语言模型（LLM）来增强决策过程给予了相当大的关注。然而，将LLM生成的自然语言文本指令与执行所需的矢量化操作对齐是一个重大挑战，通常需要特定于任务的细节。为了避免这种特定任务粒度的需要，受基于偏好的策略学习方法的启发，我们研究了利用多模态LLM仅从图像输入提供自动偏好反馈以指导决策。在这项研究中，我们训练了一种称为CriticGPT的多模态LLM，它能够理解机器人操纵任务中的轨迹视频，并作为评论家提供分析和偏好反馈。随后，我们从奖励建模的角度验证了CriticGPT生成的偏好标签的有效性。对算法偏好准确性的实验评估表明，该算法对新任务具有有效的泛化能力。此外，元世界任务的性能表明，CriticGPT的奖励模型有效地指导了策略学习，超过了基于最先进的预训练表示模型的奖励。