2025NIPS-1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching

一、文章主要内容总结

本文聚焦强化学习（RL）的扩展性问题，核心研究如何通过提升网络深度解锁自监督强化学习（self-supervised RL）的性能突破。传统RL模型多采用2-5层的浅层架构，而NLP、计算机视觉等领域的深度网络已证明规模扩展的有效性。作者通过整合三大关键组件（自监督RL算法、GPU加速框架、深度网络架构优化），实现了网络深度向1024层的扩展，并在无演示、无奖励的目标条件设置下开展实验。

实验覆盖移动、导航、机器人操作三类任务（如Ant迷宫导航、Humanoid人形机器人任务、机械臂操作），结果显示：深度扩展使对比性RL（CRL）算法性能提升2-50倍，在10个任务中的8个超越SAC、TD3+HER等主流基线；深度达到临界阈值（如Ant Big Maze的8层、Humanoid U-Maze的64层）时，模型会涌现出质的不同行为（如人形机器人学会翻越墙壁、直立行走）；此外，深度扩展还能协同提升批量大小（batch size）的有效性，且在计算效率上优于单纯扩展网络宽度。

同时，文章也指出局限性：深度扩展会增加计算成本，且在离线RL场景中暂未实现有效扩展，这为未来研究指明了方向。

二、文章创新点

1. 突破RL深度扩展瓶颈：首次证明RL模型可有效扩展至1024层，颠覆了“RL深度扩展收益有限”的传统认知，且深度扩展的性能提升显著优于宽度扩展。
2. 自监督RL与深度架构的融合：将对比性RL（CRL）与残差连接、层归一化、Swish激活函数结合，解决了深层RL模型的训练不稳定性问题，验证了自监督算法是RL规模扩展的关