本文是LLM系列文章,针对《Hierarchical Continual Reinforcement Learning via Large Language Model》的翻译。
摘要
在动态环境中持续学习的能力是强化学习(RL)主体在现实世界中应用的关键要求。尽管在持续强化学习(CRL)方面取得了进展,但现有的方法往往存在知识迁移不足的问题,尤其是在任务多样化的情况下。为了应对这一挑战,我们提出了一个新的框架,即通过大型语言模型(Hi-Core)的分层连续强化学习,旨在促进高级知识的迁移。Hi-Core组织了一个两层结构:通过大型语言模型(LLM)制定高级策略,代表一系列目标,以及与面向目标的RL实践密切一致的低级策略学习,产生代理对所设定目标的响应。该框架使用反馈反复调整和验证高级策略,并将它们与低级策略一起存储在技能库中。当遇到新任务时,Hi Core会从该库中检索相关经验,以帮助学习。通过在Minigrid上的实验,Hi-Core已经证明了它在处理各种CRL任务方面的有效性,其性能优于流行的基线。
1 引言
2 背景
3 方法
4 实验
5 结论
在这项工作中,我们提出了Hi-Core,这是一种新的框架,与人类认知控制的层次结构相一致,增强了CRL的高级知识迁移。Hi-Core利用LLM进行高级策略制定,使用面向目标的RL进行低级策略学习,并构建策略库来存储和检索策略。它通过迁移高级知识来解决在一系列不同任务中学习的挑战,这已经在我们的实验中得到了证明。进一步的结果表明,Hi-Core可以应用于异构任务,并实现了相当的传输性能。
我们认为,这项工作构成了使用分层知识迁移来提

订阅专栏 解锁全文

2967





