2025_NIPS_Towards Provable Emergence of In-Context Reinforcement Learning

文章核心总结与翻译

一、主要内容

文章聚焦上下文强化学习（ICRL），核心探究标准强化学习预训练算法为何能生成支持ICRL的网络参数。以策略评估任务为研究对象，通过理论证明与实验验证，揭示了ICTD（上下文时间差分学习）参数的关键特性：该参数是多任务TD和MC预训练算法的全局极小值点，且随着Transformer深度增加，其值预测误差会收敛到真实值。实验中使用Boyan链构建环境，证实多任务TD和MC预训练的线性Transformer均能实现上下文策略评估，且最终会收敛到相同的ICTD参数。

二、创新点

1. 理论层面：证明了Transformer在ICTD参数化下，深度趋于无穷时上下文预测会收敛到真实值，解决了推理时收敛性问题。
2. 优化视角：首次证实ICTD参数是多任务TD和MC预训练算法的NEU损失全局极小值点，解释了该参数的涌现机制。
3. 实验验证：在受控环境中验证了多任务TD和MC两种预训练方式的有效性，且发现不同预训练算法最终会收敛到相同的ICTD参数，体现了参数涌现的稳健性。

---

三、关键部分翻译（Markdown格式）

Abstract

通常，现代强化学习（RL）智能体通过更新神经网络参数来适配任务以解决问题。近年来研究发现，部分强化学习智能体在特定任务分布上预训练后，无需参数更新即可解决大量分布外新任务。在新任务评估时，预训练智能体并非更新参数，而是将策略依赖于名为“上下文”的