REVIEWING SYNERGIES BETWEEN REINFORCEMENT LEARNING AND LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《THE RL/LLM TAXONOMY TREE: REVIEWING SYNERGIES BETWEEN REINFORCEMENT LEARNING AND LARGE LANGUAGE MODELS》的翻译。

摘要

在这项工作中，我们回顾了将强化学习（RL）和大型语言模型（LLM）相结合的研究，这两个领域的发展势头归功于深度神经网络的发展。基于这两种模型类型相互作用的方式，我们提出了一种新的三个主要类的分类法。第一类RL4LLM包括利用RL来提高LLM在与自然语言处理相关的任务中的性能的研究。RL4LLM分为两个子类，这取决于RL是用于直接微调现有LLM还是用于改进LLM的提示。在第二类LLM4RL中，LLM帮助训练RL模型，该模型执行与自然语言无关的任务。我们基于LLM辅助或替代的RL训练框架的组成部分，即奖励塑造、目标生成和政策功能，进一步分解了LLM4RL。最后，在第三类中，RL+LLM、LLM和RL代理被嵌入到公共规划框架中，而它们中的任何一个都没有对另一个的训练或微调做出贡献。我们进一步将这门课分为两类，以区分有自然语言反馈和没有自然语言反馈的学习。我们使用这种分类法来探索LLM和RL协同作用背后的动机，并解释其成功的原因，同时指出潜在的缺点和需要进一步研究的领域，以及服务于相同目标的替代方法。

1 引言

2 背景、现状、范围和贡献

3 RL/LLM分类树

4 RL4LLM：利用强化学习增强大型语言模型

5 LLM4RL：通过大型语言模型增强强化学习代理

6 RL+LLM：结合独立训练的规划模型