30、基于强化学习的网络资源调度算法研究

基于强化学习的网络资源调度算法研究

1. 强化学习基础公式

在多步马尔可夫决策过程（MDP）中，根据策略梯度定理，有如下公式：
$\nabla_{\theta}J(\theta) = E_{\pi_{\theta}} [\nabla_{\theta} \log \pi_{\theta}(s, a)Q^{\pi_{\theta}} (s, a)]$ （式5.57）
其中，$Q^{\pi_{\theta}} (s, a)$ 表示多步奖励的总和。在实际优化过程中，对 $Q^{\pi_{\theta}} (s_t, a_t)$ 进行无偏采样得到 $v_t$，参数更新公式为：
$\theta = \theta + \alpha\nabla_{\theta} \log \pi_{\theta}(s_t, a_t)v_t$ （式5.58）

2. 模型的训练与测试

2.1 训练过程

• 初始化 ：开始时需要初始化seq2seq模型的网络参数。
• 输入与编码 ：将强化学习代理提取的底层网络特征矩阵输入，得到编码向量 $E$。
• 解码与节点选择 ：将编码向量 $E$ 和起始信号SOS输入解码器，输出 $N_1$ 表示第一个虚拟节点嵌入到底层网络的位置，通过softmax函数计算：
  $p_i = \frac{e^{h_i}}{\sum_{j} e^{h_j}}$ （式5.59）
  其中，$h$ 表示解码器中每个单元的输出向量。由于模型参数是随机初始化的，根据so