Online Preference-based Reinforcement Learning with Self-augmented Feedback from LLM-优快云博客

本文是LLM系列文章，针对《Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model》的翻译。

基于偏好的在线强化学习，结合来自大型语言模型的自增强反馈

摘要
1 引言
2 相关工作
3 前言
4 在线PBRL中的查询歧义
5 RL-SALLM-F
6 实验
7 结论

摘要

基于偏好的强化学习（PbRL）提供了一种强大的范式，通过学习基于人类偏好的奖励来避免细致的奖励工程。然而，在在线任务中很难获得实时的人工反馈。大多数工作都假设有一个“脚本式教师”，利用特权预定义的奖励来提供偏好反馈。在这篇论文中，我们提出了一种RL自增强大语言模型反馈（RL-SaLLM-F）技术，该技术不依赖于在线PbRL的特权信息。RL-SaLLM-F利用LLM的反射和辨别能力来生成自增强轨迹，并为奖励学习提供偏好标签。首先，我们识别了在线PbRL中基于LLM的偏好判别中的一个失败问题，特别是“查询歧义”。然后，LLM被用来提供偏好标签，并生成更好地实现任务目标的自增强想象轨迹，从而提高反馈的质量和效率。此外，引入了双重检查机制来减轻偏好标签中的随机性，提高了LLM反馈的可靠性。MetaWorld基准测试中多个任务的实验展示了RL-SaLLM-F中每个拟议模块的具体贡献，并表明自增强LLM反馈可以有效地取代不切实际的“脚本化教师”反馈。总之，RL-SaLLM-F在在线PbRL中引入了一种新的反馈获取方向，该方向不依赖于任何在线特权信息，提供了一种高效、轻量级的LLM驱动反馈解决方案。