31、多智能体强化学习助力服务功能链部署

多智能体强化学习助力服务功能链部署

1. 引言

在支持网络功能虚拟化（NFV）的物联网（IoT）网络中，服务提供商可借助服务功能链（SFC）以快速、可靠且经济高效的方式部署新服务。SFC 能将一系列异构虚拟网络功能（VNF）连接起来，形成服务载体，满足不同的服务质量（QoS）要求，灵活适应物联网业务的特殊需求。然而，如何将多个 SFC 需求嵌入共享的 NFV 网络是一个关键挑战。

目前，关于 SFC 部署问题的研究方法主要分为集中式解决方案和分布式解决方案。集中式解决方案中，控制器收集用户需求和网络状态，计算最优部署策略并配置 SFC，但需要全局信息，可能引发隐私和可扩展性问题。分布式解决方案能处理可扩展性和隐私问题，但存在严重的非收敛问题，分布式网络节点如何学习全局最优部署策略是设计分布式算法的关键难题。

受强化学习（RL）成功应用的启发，我们尝试使用分布式 RL 优化 SFC 部署问题，提出了基于分布式 RL 的 SFC 部署算法，设计了混合控制架构，采用集中式学习和分布式执行框架，并提出基于演员 - 评论家的多智能体深度确定性策略梯度（MADDPG）强化学习算法来优化该问题。

2. 系统模型与问题表述

2.1 系统模型

我们考虑一个支持 NFV 的物联网网络，将其建模为一个连通的无向图 (G = {V, E})，其中 (|V| = n) 为服务器节点数量，(|E| = m) 为链路数量。服务器节点 (v \in V) 具有资源容量（如 CPU、内存），链路 (e \in E) 具有传输容量（如带宽）。服务器节点 (v) 的资源容量表示为 (C(v) = (C_{v}^{CPU}, C_{v}^{mem}))