《Cache-Aided MEC for IoT: Resource Allocation Using Deep Graph Reinforcement Learning》阅读笔记

Question

MEC使能的IoT能够解决物联网中时延敏感/计算敏感服务的需要

Contribution

1. 提出cache-aided MEC卸载框架，允许用户将计算任务卸载到边缘服务器上。
2. 该框架的目标是最小化计算卸载和资源分类配的系统时延，将系统建模为部分可观测马尔可夫过程的多智能体决策问题。
3. 提出基于深度图卷积强化学习(deep graph convolution reinforcement learning, DGRL)的方法解决问题。算法使用GNN抓取节点之间的相关性并输入到深度Q网络中进行资源分配决策优化。
4. 对比仿真，基于DGRL的CA-MEC卸载算法性能良好。

Related works

• Resource Allocation for Communication, Computing, and Caching

references	method
[16]	基于深度Q网络的卸载算法
[27]	双边匹配和凸优化方法
[28]	基于深度学习长短期记忆模型的计算卸载优化算法
[29]	基于基因模拟退火的粒子群算法

• Reinforcement Learning in Resource Management

references	category	method
[18]	单智能体	基于深度确定策略梯度(DDPG)的计算卸载、资源分配和服务缓存优化方法
[17]		基于asynchronous advantage actor–critic (A3C)的3C资源优化方法
[9]		基于带有回放记忆的DQN的资源优化算法
[31]		基于DRL的联合计算卸载与资源分配优化算法
[32]	多智能体	基于MADDPG的任务调度与资源分配优化算法
[33]		GAT辅助的MARL资源管理算法
[34]		基于带有注意力机制的多智能体actor-critic方法

• Graph Neural Network in Resource Management

references	method
[24]	GCN + counterfactual multiagent policy gradient (COMA)-based的通信架构
[39]	使用GCN构建基于DRL信道分配算法
[40]	使用GNN实现可扩展信道分配算法
[41]