2025_NIPS_Gigastep - One Billion Steps per Second Multi-agent Reinforcement Learning

一、文章主要内容总结

该文章针对多智能体强化学习（MARL）研究中“复杂环境计算成本高、简单环境缺乏现实迁移性”的核心矛盾，提出了一款名为 Gigastep 的MARL基准环境。其核心定位是平衡环境复杂度、现实性与计算可及性，具体内容包括：

1. 环境设计核心：基于JAX框架实现完全向量化，支持在消费级硬件上达到每秒10亿步的运行速度，大幅降低MARL研究的硬件门槛；
2. 环境关键特性：涵盖3D动力学、随机性、部分可观测性等Dec-POMDP（去中心化部分可观测马尔可夫决策过程）核心要素，支持协作/对抗任务、连续/离散动作空间，提供特征向量和RGB图像两种观测形式；
3. 场景与定制化：支持异质智能体、对称/非对称团队配置，内置标记（Tagging）、路径点追踪（Waypoint following）、捉迷藏（Hide & seek）等任务，允许用户自定义地图、智能体类型和场景规模（支持千级智能体同时交互）；
4. 验证与基准：通过多智能体PPO、进化策略等算法验证了环境可用性，提出基于Elo评分的基准评估体系，解决MARL对抗场景中奖励相对化的问题；
5. 开源与定位：以MIT许可证开源，旨在推动MARL研究的包容性，让资源有限的研究者也能开展复杂场景实验。

二、创新点

1. 极致计算效率：全JAX实现+向量