The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

一、文章主要内容

该文章是一篇关于大型语言模型（LLMs）智能体强化学习（Agentic RL）领域的综述。它指出智能体强化学习的出现标志着从传统LLMs强化学习（LLM RL）的范式转变，将LLMs从被动的序列生成器重新定义为嵌入复杂动态环境中的自主决策智能体。

文章通过对比LLM RL的退化单步马尔可夫决策过程（MDPs）与定义Agentic RL的时间扩展型部分可观测马尔可夫决策过程（POMDPs），正式确立了这一概念转变。在此基础上，提出了全面的双重分类法：一种围绕核心智能体能力（包括规划、工具使用、记忆、推理、自我提升和感知）构建，另一种围绕这些能力在不同任务领域的应用构建。

文章核心观点认为，强化学习是将这些能力从静态的启发式模块转化为适应性强、稳健的智能体行为的关键机制。为支持和推动未来研究，文章还整合了开源环境、基准和框架领域的资源，形成实用纲要。通过综合五百多项近期研究成果，勾勒出这一快速发展领域的轮廓，并强调了将塑造可扩展、通用人工智能智能体发展的机遇与挑战。

二、文章创新点

1. 范式转变的明确界定：首次清晰对比LLM RL的退化单步MDPs与Agentic RL的时间扩展型POMDPs，正式确立了从LLMs被动序列生成到自主决策智能体的概念转变，为该领域提供了明确的理论区分框架。
2. 双重分类法的提出：创新性地构建了围绕核心智能体能力和任务领域应用的双重分类法，系统梳理了Agentic RL的关键构成要素与应用场景，有助于研究者更清晰地把握领域结构和研究方向。
3. 强化学习核心