2025_NIPS_A Definition of Continual Reinforcement Learning

文章核心总结与翻译

一、主要内容

文章聚焦持续强化学习（CRL）的定义空缺问题，提出了一套严谨的数学框架来规范该领域的核心概念。核心观点是：CRL的本质是“最优智能体永不停止学习”的强化学习场景，而非传统强化学习中“找到最优策略即停止学习”的模式。

通过引入“生成（generates）”和“到达（reaches）”两个逻辑算子，文章将智能体行为形式化为对“智能体基（agent basis）”的隐含搜索过程：

1. 所有智能体均可被理解为在某个智能体基上进行搜索（生成算子）；
2. 智能体要么最终停止搜索（有时到达），要么持续搜索永不停止（永不到达）；
3. CRL场景中，所有最优智能体均属于“永不到达”类，即持续更新行为以适应环境。

文章还通过切换马尔可夫决策过程（MDPs）和持续监督学习两个案例，验证了该定义的通用性，同时分析了生成/到达算子的数学性质（如传递性、不可判定性）及CRL的必要条件。

二、创新点

1. 首次为持续强化学习提供了简洁且严谨的数学定义，明确其核心是“最优智能体持续隐含搜索”，统一了领域内模糊的概念认知；
2. 提出“生成-到达”二元算子框架，将智能体学习行为转化为可量化的数学分析对象，为CRL的算法设计和理论研究提供工具；
3. 证明了传统多任务强化学习、持续监督学习均为该CRL定义的特例，拓宽了定义的适用范围；
4. 系统分析了CRL的数学性质（如智能体基非最优性、生成算子传递性等），为后续研究奠定理论基础。