文献阅读记录3--Scalable Deep Reinforcement Learning-Based OnlineRouting for Multi-Type Service Requiremen

目录

一、预备知识

二、论文部分

Abstract

1 Introduction

2 Related Works

3 Method

1. 效用函数:

2. 马尔科夫决策过程

3. Actor-Critic网络

部分唯一策略网络结构:

状态输入（State Input）:

参数共享:

Actor网络和Critic网络的协同工作:

Actor网络：

4 Experimental Results

---

前言：这篇文章是在DRL-OR: Deep Reinforcement Learning-basedOnline Routing for Multi-type Service Requirements基础上的又一次升级，体现在利用图神经网络（GNN）这一更高效的神经网络结构提取网络特征

一、预备知识

Actor-Critic 网络结构：

• Actor网络采用图神经网络（GNN）来处理网络状态信息。GNN能够捕捉节点的局部连接模式，使得网络能够学习到节点之间的复杂关系。网络的输入是每个节点的状态信息，包括节点的流量需求、候选路径的属性等。网络通过GNN层提取节点特征，然后使用特定的图注意力机制（Graph Attention Mechanism）来决定选择哪个邻居节点作为下一跳。每个节点的输出是一个动作概率分布，表示选择每个邻居节点作为下一跳的可能性。
• Critic网络同样使用GNN来处理网络状态信息，以估计给定状态下的价值函数。Critic网络的输出是一个价值估计，这个估计反映了当前网络状态的整体价值。通过使用广义优势估计（Generalized Advantage Estimation, GAE）算法，Critic网络能够计算出每个动作的优势值。

二、论文部分

题目：面向多类型业务需求的可扩展深度强化学习在线路由

创新点：Actor-Critic网络架构；引入了一个基于深度学习的NN-Simulator（神经网络模拟器）

Abstract

• DRL-OR-S采用综合奖励函数、高效的学习算法和新颖的深度神经网络结构，根据不同类型的流量需求学习合适的路由策略
• 为了增强泛化和可扩展性，我们提出了一种新的基于图的行动者-评论家网络架构和精心设计的DRL-OR-S