2025_NIPS_Sample-Efficient and Safe Deep Reinforcement Learning via Reset Deep Ensemble Agents

文章总结与翻译

一、主要内容

该文章聚焦深度强化学习（DRL）中因深度神经网络（DNNs）作为函数逼近器而产生的首因偏差问题，同时针对现有重置方法存在的性能崩溃、样本效率不足等缺陷，提出了一种基于深度集成学习的重置框架（RDE）。

核心背景

• 深度强化学习结合DNNs能高效处理复杂控制任务，但回放缓冲区的动态特性导致模型过度拟合早期经验，即首因偏差，随回放比率提升性能下降。
• 现有重置方法通过周期性重置智能体参数（保留回放缓冲区）缓解首因偏差，但会引发重置后的性能崩溃，且在低回放比率或需大量探索的环境中效果不佳，限制了其在安全关键场景（如自动驾驶）的应用。

方法设计

RDE框架包含三大核心组件：

1. 集成智能体构建：初始化N个架构相同但参数不同的智能体，共同组成集成系统。
2. 序贯重置机制：每间隔TresetT_{reset}