33、多智能体强化学习辅助的服务功能链部署算法研究

多智能体强化学习辅助的服务功能链部署算法研究

1. 实验环境与设置

在对多智能体强化学习辅助的服务功能链（SFC）部署算法进行研究时，需要搭建特定的实验环境并进行相应的设置。
- 实验环境 ：CPU采用Intel (R) Core (TM) i5 - 8500 CPU @ 3.00 GHz，软件环境为Python 3.7.6和PyTorch 1.4.0。
- 仿真设置 ：使用14节点的NSFNET拓扑结构（包含44条光纤链路）对算法进行评估。假设每个服务器节点的服务资源容量范围在[30, 50]，两个服务器节点之间的延迟与其距离相关，且每个服务器节点可以部署所有类型的虚拟网络功能（VNF）。在无特殊说明的情况下，构建5种不同类型的VNF，每个SFC中VNF的数量随机在3 - 5个之间。网络用户数量上限为4，且所有网络用户在同一时刻接收相同的网络服务。

以下是仿真中的主要参数设置表格：
| 参数 | 值 | 描述 |
| — | — | — |
| |V| | 14 | 服务器节点数量 |
| |E| | 44 | 光纤链路数量 |
| C(v) | [30, 50] | 服务器节点的资源容量 |
| C(e) | [80, 100] | 链路的传输容量 |
| |F| | [2, 5] | 一个SFC中VNF的数量 |
| N | [2, 4] | 用户数量 |
| batchsize | 100 | 一次前向传播中的训练示例数量 |
| critic - lr | 1 * 10^(-3) | 调整评论网络