RAGEN-2: Reasoning Collapse in Agentic RL

arXiv:2604.06268 论文总结与关键章节翻译

一、核心内容总结

论文聚焦强化学习训练AI智能体时普遍存在的隐形失效问题——模板崩塌（Template Collapse）：模型输出表面多样、格式合规、奖励稳定，但实质与输入无关，陷入固定万能模板，传统熵、奖励等指标无法检测。

• 核心问题：模板崩塌，输出表面多样、实质空洞，与输入弱相关，传统监控失效。
• 成因：强化学习梯度由任务信号与正则化噪声叠加，低信噪比样本主导更新，导致模型放弃输入关联，转向安全通用模板。
• 诊断方案：提出互信息、检索准确率、MI-ZScore-EMA等指标，精准识别崩塌，替代误导性熵指标。
• 修复方法：SNR感知过滤，按奖励方差筛选高信噪比样本更新，剔除噪声驱动更新。
• 验证：在推箱子、数学推理、网页交互等7类任务、4种RL算法、多模型/模态下一致有效，性能显著提升。

二、创新点

1. 新问题定义：首次系统定义模板崩塌，揭示RL训练中“高熵低质”的隐形失效，纠正传统监控误区。
2. 诊断范式革新：用互信息替代熵，设计批内交叉打分