29、基于深度学习的需求预测模型：架构、训练与应用

基于深度学习的需求预测模型：架构、训练与应用

在当今的商业环境中，准确的需求预测对于企业的成功至关重要。尤其是在零售行业，能够精准预测商品需求可以帮助企业优化库存管理、制定合理的价格策略，从而提高利润。本文将介绍一种基于深度学习的需求预测模型，详细阐述其架构、训练方法以及应用效果。

1. 填充与掩码（Padding and Masking）

在处理变长序列时，原始的Transformer架构会应用零填充和掩码技术，以达到定义的输入嵌入维度，并避免解码器中的前瞻问题。在时间序列预测中，只有时间动态协变量需要进行零填充和掩码处理，这在从一个观测时间序列中生成多个训练样本时尤为重要。掩码应用于Q和V张量的点积结果，以防止填充维度影响注意力分数。在需求预测模型中，不仅零填充值会被掩码，所有库存可用性为零的数据点也会被掩码，这是因为在库存可用性为零的商品数据上推断需求存在问题。

2. 解码器（Decoder）

解码器的任务是为预测范围内的每个时间单元计算未来状态。矩阵 $\eta_{i,t+1:t+h}$ 表示解码器的输入，其中每个列向量 $\eta_{i,T}$ 包含商品 $i$ 在未来周 $T \in [t + 1, \ldots, t + h]$ 的已知未来协变量，以及在时间 $t$ 最后观察到的折扣 $d_t$ 和需求 $q_t$。为了计算时间 $T$ 的未来状态，解码器接收编码器的输出 $\gamma_{i,0:t}$ 和未来协变量向量 $\eta_{i,T}$ 作为输入。

解码器与编码器类似，包含多头注意力层，但应用了特定的注意力机制：
- 输入矩阵：
- $\gamma_{i,0:t} =
\begin