Hierarchical Continual Reinforcement Learning via Large Language Model

本文是LLM系列文章，针对《Hierarchical Continual Reinforcement Learning via Large Language Model》的翻译。

摘要

在动态环境中持续学习的能力是强化学习（RL）主体在现实世界中应用的关键要求。尽管在持续强化学习（CRL）方面取得了进展，但现有的方法往往存在知识迁移不足的问题，尤其是在任务多样化的情况下。为了应对这一挑战，我们提出了一个新的框架，即通过大型语言模型（Hi-Core）的分层连续强化学习，旨在促进高级知识的迁移。Hi-Core组织了一个两层结构：通过大型语言模型（LLM）制定高级策略，代表一系列目标，以及与面向目标的RL实践密切一致的低级策略学习，产生代理对所设定目标的响应。该框架使用反馈反复调整和验证高级策略，并将它们与低级策略一起存储在技能库中。当遇到新任务时，Hi Core会从该库中检索相关经验，以帮助学习。通过在Minigrid上的实验，Hi-Core已经证明了它在处理各种CRL任务方面的有效性，其性能优于流行的基线。

1 引言

2 背景

3 方法

4 实验

5 结论

在这项工作中，我们提出了Hi-Core，这是一种新的框架，与人类认知控制的层次结构相一致，增强了CRL的高级知识迁移。Hi-Core利用LLM进行高级策略制定，使用面向目标的RL进行低级策略学习，并构建策略库来存储和检索策略。它通过迁移高级知识来解决在一系列不同任务中学习的挑战，这已经在我们的实验中得到了证明。进一步的结果表明，Hi-Core可以应用于异构任务，并实现了相当的传输性能。
我们认为，这项工作构成了使用分层知识迁移来提