Reinforcement Learning Enhanced LLMs: A Survey

本文是LLM系列文章，针对《Reinforcement Learning Enhanced LLMs: A Survey》的翻译。

摘要

本文调查了通过强化学习（RL）增强大型语言模型（LLM）这一快速增长领域的研究，强化学习是一种技术，它使LLM能够通过根据其输出质量以奖励形式接收反馈来提高其性能，从而使其能够生成更准确、连贯和符合上下文的响应。在这项工作中，我们对RLenhanced LLM的最新知识状态进行了系统回顾，试图巩固和分析该领域快速增长的研究，帮助研究人员了解当前的挑战和进展。具体来说，我们（1）详细介绍了强化学习的基础知识；（2） 引入流行的强化学习LLM；（3） 回顾了两种广泛使用的基于奖励模型的强化学习技术的研究：基于人类反馈的强化学习（RLHF）和基于人工智能反馈的强化教学（RLAIF）；以及（4）探索直接偏好优化（DPO），这是一组绕过奖励模型直接使用人类偏好数据将LLM输出与人类期望相匹配的方法。我们还将指出现有方法的当前挑战和不足，并提出一些进一步改进的途径。这项工作的项目页面可以在我们最新的仓库中找到。

1 引言

2 基础知识：LLM强化学习

3 RL增强的流行LLM

4 RLHF：从人类反馈中强化学习