2025_NIPS_OFCOURSE: A Multi-Agent Reinforcement Learning Environment for Order Fulfillment

一、文章主要内容总结

本文针对全球电子商务增长背景下订单履行（从下单到配送全流程）的高效低成本需求，聚焦其多阶段、决策 interdependent（相互依赖）、信息动态揭示的核心挑战，提出了基于多智能体强化学习（MARL）的一体化解决方案，并设计了对应的仿真环境OFCOURSE。

1. 问题背景：订单履行涉及订单处理、打包提货、仓储、订单合并、最后一公里配送等多个相互关联的决策阶段，传统研究多单独解决各子问题，易导致全局次优；且缺乏标准化仿真环境支持全流程MARL研究。
2. 核心方法：将完整订单履行问题建模为马尔可夫博弈（MG），通过多个智能体协作学习联合策略，实现全流程决策优化，目标是在承诺时间内最小化总履行成本。
3. 环境设计：开发OFCOURSE仿真环境（符合OpenAI Gym规范），具备三大核心功能——时间-价格指标记录（聚焦关键成本与时间维度）、模块化设计（适配不同规模履约系统）、分步更新（应对资源动态变化），支持定制化履约场景构建。
4. 实验验证：在两类定制任务（物理+虚拟订单混合履约、跨境订单履约）中，将MARL算法（HAPPO）与局部最优策略组合（CLO）、单智能体RL（PPO）、独立多智能体RL（IPPO）对比，结果表明MARL学到的联合策略在全局成本优化上更具优势。

二、文章创新点

1. 一体化建模思路：首次将订单履行全流程（而非单个子问题）建模为马尔可夫博弈，通过多智能