Online Preference-based Reinforcement Learning with Self-augmented Feedback from LLM

本文是LLM系列文章，针对《Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model》的翻译。

摘要

基于偏好的强化学习（PbRL）提供了一种强大的范式，通过学习基于人类偏好的奖励来避免细致的奖励工程。然而，在在线任务中很难获得实时的人工反馈。大多数工作都假设有一个“脚本式教师”，利用特权预定义的奖励来提供偏好反馈。在这篇论文中，我们提出了一种RL自增强大语言模型反馈（RL-SaLLM-F）技术，该技术不依赖于在线PbRL的特权信息。RL-SaLLM-F利用LLM的反射和辨别能力来生成自增强轨迹，并为奖励学习提供偏好标签。首先，我们识别了在线PbRL中基于LLM的偏好判别中的一个失败问题，特别是“查询歧义”。然后，LLM被用来提供偏好标签，并生成更好地实现任务目标的自增强想象轨迹，从而提高反馈的质量和效率。此外，引入了双重检查机制来减轻偏好标签中的随机性，提高了LLM反馈的可靠性。MetaWorld基准测试中多个任务的实验展示了RL-SaLLM-F中每个拟议模块的具体贡献，并表明自增强LLM反馈可以有效地取代不切实际的“脚本化教师”反馈。总之，RL-SaLLM-F在在线PbRL中引入了一种新的反馈获取方向，该方向不依赖于任何在线特权信息，提供了一种高效、轻量级的LLM驱动反馈解决方案。

1 引言

2 相关工作

3 前言

4 在线PBRL中的查询歧义

5 RL-SALLM-F

6 实验

7 结