28、基于强化学习的连续决策虚拟网络嵌入研究

基于强化学习的连续决策虚拟网络嵌入研究

1. 引言

虚拟网络嵌入（VNE）问题在不同场景下有不同的表现形式，且已被证明是NP难问题。以往解决VNE问题主要依赖直接解法和启发式解法。直接解法如整数线性规划（ILP）虽能找到最优嵌入结果，但计算复杂度高，不适用于大规模网络；大多数启发式算法基于静态决策过程，无法根据动态网络状态自适应优化网络参数。

随着人工智能和机器学习的发展，越来越多的智能算法被用于解决VNE问题。与启发式算法相比，机器学习算法能根据可用数据智能调整网络参数并对未来进行预测。强化学习作为机器学习家族的重要成员，具有自适应性，通过智能体与环境交互执行特定动作。结合深度神经网络，深度强化学习（DRL）算法可用于提取和分析底层网络信息。受此启发，我们应用seq2seq模型来构建节点嵌入过程，并提出基于强化学习的连续决策VNE方案（CDRL）来解决VNE问题并优化其性能。

2. 系统模型和评估指标

2.1 系统模型

VNE是根据资源需求将虚拟网络请求分配到底层网络的过程。为便于分析，底层网络可用无向图 (G^S=(N^S, L^S, A^S_N, A^S_L)) 表示，其中 (N^S) 和 (L^S) 分别表示底层节点和链路，(A^S_N) 和 (A^S_L) 分别表示节点的计算能力和链路的带宽。设 (P^S) 表示底层网络中的无环路径集合。

同样，虚拟网络用无向图 (G^V=(N^V, L^V, C^V_N, C^V_L)) 表示，其中 (N^V) 和 (L^V) 是虚拟网络中的节点和链路，(C^V_N) 和 (C^V_L) 分别是节点的计算资源需求和链路的带宽需求。

基于上述符号，V