15、基于深度强化学习和多任务依赖的边缘计算任务卸载算法

基于深度强化学习和多任务依赖的边缘计算任务卸载算法

1. 引言

随着智能手机、平板电脑和可穿戴设备的技术发展，催生了诸如虚拟现实（VR）、增强现实（AR）、人脸识别和移动医疗等对计算能力要求较高的新服务和应用。然而，物联网设备由于物理尺寸小和生产成本的限制，往往计算能力有限。边缘计算（EC）作为一种有前景的解决方案，其核心思想是在网络边缘部署服务器和存储设备，以提供强大的计算和存储能力。

目前，大多数文献使用有向无环图（DAG）来建模具有依赖关系的计算卸载问题。但由于DAG结构的复杂性和多样性，基于DAG的计算卸载问题成为NP难题，以往多采用启发式算法解决。然而，在边缘计算中，边缘服务器的链路状态和计算能力动态变化，启发式算法无法满足虚拟环境中实时动态决策的要求，且缺乏通用性。为解决这一困境，有研究提出通过深度强化学习（DRL）解决DAG任务卸载调度决策问题，利用DRL的强大表示能力学习DAG卸载决策问题的巨大状态空间。

不过，使用DRL解决基于DAG的卸载调度问题时，神经网络仅适用于欧几里得处理空间数据，而DAG是一种结构化数据。为更好地提取子任务之间的依赖关系和子任务特征，本文采用图注意力网络（GAT）处理DAG。同时，在自然环境中，由于问题复杂性和感知限制，系统难以直接获取当前时间步的实际状态，因此本文将长短期记忆网络（LSTM）与深度Q网络（DQN）结合来解决时间依赖问题。主要贡献如下：
- 对边缘计算场景进行建模，包括任务依赖、通信和成本模型。利用马尔可夫决策过程（MDP）描述多接入边缘计算（MEC）中的卸载问题，旨在最小化传输和计算成本。
- 提出基于DRL的多任务依赖卸载算法（MTDOA）。使用图注意力网络捕获DAG特征，用LSTM改进深度强化学