Hierarchical Continual Reinforcement Learning via Large Language Model

本文是LLM系列文章，针对《Hierarchical Continual Reinforcement Learning via Large Language Model》的翻译。

摘要

在动态环境中持续学习的能力是强化学习（RL）主体在现实世界中应用的关键要求。尽管在持续强化学习（CRL）方面取得了进展，但现有的方法往往存在知识迁移不足的问题，尤其是在任务多样化的情况下。为了应对这一挑战，我们提出了一个新的框架，即通过大型语言模型（Hi-Core）的分层连续强化学习，旨在促进高级知识的迁移。Hi-Core组织了一个两层结构：通过大型语言模型（LLM）制定高级策略，代表一系列目标，以及与面向目标的RL实践密切一致的低级策略学习，产生代理对所设定目标的响应。该框架使用反馈反复调整和验证高级策略，并将它们与低级策略一起存储在技能库中。当遇到新任务时，Hi Core会从该库中检索相关经验，以帮助学习。通过在Minigrid上的实验，Hi-Core已经证明了它在处理各种CRL任务方面的有效性，其性能优于流行的基线。

1 引言

2 背景

3 方法

4