基于深度强化学习的多码头集卡路径优化

• ADI T N, ISKANDAR Y A, BAE H. Interterminal Truck Routing Optimization Using Deep Reinforcement Learning[J]. Sensors, 2020, 20(20): 5794.
• ADI T N, BAE H, ISKANDAR Y A. Interterminal Truck Routing Optimization Using Cooperative Multiagent Deep Reinforcement Learning[J]. Processes, 2021, 9(10): 1728.

Problem Description

问题定义：

• 问题类型： 同车型车辆取送货问题（Homogeneous Vehicle Pickup and Delivery Problem, ITTRP）
• 考虑因素：
  • 集卡工作时间的最大可用性
  • 延迟订单的罚款
  • 节点的时间窗
  • 运输订单的截止时间

实验设置：

• 不包括外集卡： 提出的ITTRP版本不考虑外部集卡。
• 实验范围： 釜山新港（Busan New Port，BNP），拥有五个集装箱码头（PNIT、PNC、HJNC、HPNT、BNCT），决策期：24小时，即1440分钟

符号定义：

• 节点集合： $L$
• 集卡集合： $T$
• 客户集合： $C$
• 客户k的订单集合： $R^k$，其中 $k$ 是客户的索引。
• 所有订单集合： $O={\cup }_{k\in C}{R}^k$
• 订单的起始码头： $o(j_i^k)\in L$
• 订单的目标码头： $d(j_i^k)\in L$
• 起始码头集合： $L^s$
• 目标码头集合： $L^d$
• 服务时间： 取货点 $S_{j_i^k,o(j_i^k)}$ 和送货点 $S_{j_i^k,d(j_i^k)}$的服务时间。
• 订单罚款： $p{n}_{j_i^k}$
• 截止日期： $d{d}_{j_i^k}$
• 集卡初始位置： $i{p}_t$
• 集卡最大工作时间： $m{x}_t$
• 集卡使用成本： $c{s}_t$
• 集卡小时成本： $h{r}_t$

目标函数：

• 最小化成本： 使用集卡的成本$$\min \left(\sum _{t\in T}{x}_{t}c{s}_t+\sum _{t\in T}t{m}_{t}h{r}_t+\sum _{o\in O}{y}_{o}p{n}_o\right)$$
• 成本组成部分：
  • 集卡使用成本：$\sum _{t\in T}{x}_{t}c{s}_t$
  • 集卡工作时间成本：$\sum _{t\in T}t{m}_{t}h{r}_t$
  • 订单延迟罚款：$\sum _{o\in O}{y}_{o}p{n}_o$

变量定义：

• 集卡是否被雇佣： $x_t=1$ 如果集卡 $t$ 被雇佣，否则为 $0$。
• 订单是否延迟： $y_o=1$ 如果订单 $o$ 在截止日期后执行，否则为 $0$。
• 集卡服务时间： $t{m}_t$

限制条件：

1. Each transport order must be performed.
2. Each transport order must be performed by a single truck.
3. Each transport order $j_i^{}$