34、供应链管理中的强化学习应用：库存采购与路由问题优化

供应链管理中的强化学习应用：库存采购与路由问题优化

1. 多步库存动态模拟

在解决库存采购决策问题时，我们需要创建一个多步库存优化问题的模拟环境。在创建环境前，有以下考虑事项：
- 为了使策略适用于广泛的场景，每个回合我们会随机生成环境参数。
- 这种随机化会增加梯度估计的方差，使学习比静态场景更具挑战性。

1.1 事件日历

为了正确应用环境的步函数，我们需了解每个事件的发生时间：
1. 每天开始时，下达库存补货订单，并将其记录为“在途”库存。
2. 当天安排的物品到货。若提前期为 0，当天开始时订购的物品立即到货；若提前期为 1 天，则昨天的订单到货，以此类推。
3. 收到货物后，当天会产生需求。若库存不足，实际销售额将低于需求，还会损失客户商誉。
4. 一天结束时，从库存中扣除已售物品（而非总需求），并相应更新状态。
5. 若提前期不为 0，更新在途库存（即将 t + 2 到达的库存移至 t + 1）。

1.2 环境编码

环境的完整代码可在 此处 找到。以下是环境的一些关键部分：

import numpy as np
import gym
from gym import spaces
from scipy.stat