2025_NIPS_Meta-World+: An Improved, Standardized, RL Benchmark

文章主要内容和创新点总结

主要内容

Meta-World是广泛用于评估多任务和元强化学习智能体的基准测试工具，但自推出后存在诸多未记录的版本变更，导致算法间的公平比较受到阻碍。本文针对这一问题展开研究，通过对过往版本的Meta-World进行分析，明确了不同版本奖励函数带来的结果差异，并提出了基准测试设计的相关见解。同时，文章推出了开源的Meta-World+版本，该版本兼容最新的Gymnasium API和Mujoco Python绑定，移除了对过时包的依赖，支持过往结果的完全复现，还新增了任务集并允许用户自定义任务集。此外，文章通过实证研究对比了多种多任务和元强化学习算法在不同奖励函数（V1和V2）下的性能，分析了任务集大小对算法表现的影响，为后续基准测试的发展提供了方向。

创新点

1. 实证对比了多种多任务和元强化学习算法在过往不同奖励函数下的表现，揭示了跨版本比较中的不一致性，并基于实证结果为未来基准测试设计提供了见解。
2. 在现有任务集基础上新增了两个任务集（MT25和ML25），同时赋予用户创建自定义多任务或元强化学习任务集的能力，满足不同研究需求。
3. 对基准测试库进行升级，使其兼容最新的Gymnasium API和Mujoco Python绑定，移除了对OpenAI gym和Mujoco-Py等不受支持包的依赖，提升了技术适用性。
4. 采用保留式方法解决奖励函数版本不一致问题，明确保留V1和V2两种奖励函数作为可选择项，而非引入新的奖励系统，确保过往结果的可复现性。