异构多层边缘计算新框架

异构多接入边缘计算：第六代移动通信时代的异构多层移动边缘计算

摘要

在移动应用日益增长的推动下，移动边缘计算（MEC）被视为支持海量数据处理服务的有前景的候选技术。然而，传统移动边缘计算在整个网络中对计算和传输资源的利用不足，导致在第六代移动通信时代尤其面向计算密集型应用时，不可避免地产生较长的处理与传输时延。本文提出一种异构多层移动边缘计算（HetMEC），其中从边缘设备（EDs）（即在无线接入网络中生成计算任务原始数据的移动设备）到云中心（CC）的不同设备天然地参与网络的不同层，并协同进行数据处理。为支持低延迟服务，构建了一个基于强化学习的框架，以适应不稳定的无线环境以及各终端设备动态变化的数据生成速度。在此框架下，提出了包括任务卸载、基于认知无线电的频谱接入、定价机制设计以及网络拥塞控制等关键研究问题与解决方案。同时，从网络规划与优化、网络控制以及应用特定问题的角度，讨论了一些进一步的研究方向和开放性问题。

索引术语

异构网络，强化学习，多层边缘计算

一、引言

随着移动网络的快速发展，到2022年全球IP流量将达到每月约400艾字节（EB），推动了第六代移动通信[1]的相关研究。这些终端设备（EDs），包括笔记本电脑、平板电脑和手机，在交通、医疗保健、智慧城市等领域的计算密集型应用中收集或生成数据[2],[3]。为了支持具有高计算需求的应用，提出了云计算，将大量数据卸载到远程云中心（CCs）[4],[5]。得益于计算、存储和网络管理的集中化，云计算可以提供海量资源以支持计算服务。

然而，从终端设备到远程云中心的长传播距离导致应用的传输延迟过高。

为应对云计算的困境，移动边缘计算（MEC）已被研究用于将计算任务下放到部署在终端设备（EDs）与云中心（CC）之间的MEC服务器上[6],[7]。具体而言，这些MEC服务器（例如接入点（APs））具备计算资源以支持部分计算任务，在终端设备邻近处提供计算服务。当这些终端设备在通信网络边缘产生计算任务的原始数据时，可以将数据卸载到附近的MEC服务器，而不是远程云中心。因此，移动边缘计算得益于计算资源的邻近性，支持低延迟和高效的数据处理[8]。

然而，大多数现有研究仅利用了网络中有限的计算资源来执行计算任务[9]–[12]，导致处理能力较低1。如图1所示，一些研究要么忽略了云中心[9],[10]的资源，要么专注于边缘‐云架构，该架构仅利用通过无线链路与终端设备直接通信的MEC服务器的资源[11],[12]，而上层MEC服务器（例如小型数据中心）的资源则被浪费。

文献[9]研究了单个MEC服务器的无线蜂窝网络中的任务卸载和干扰管理。文献[11]将云和边缘结合，构建了一个由终端设备、接入点和云中心组成的三层数据流处理系统。在终端设备、多种MEC服务器以及云中心之间对计算和传输资源的协同利用仍未得到充分开发。因此，有必要将无法在MEC服务器上处理的数据卸载到上层设备。

本文提出了一种异构多层MEC（HetMEC），以整体利用整个网络中的计算和传输资源。在异构移动边缘计算网络中，当发布一个计算任务时，该任务可以被划分为多个部分，分别在终端设备、多层MEC服务器以及云中心的HetMEC中进行处理。

异构多接入边缘计算的异构性体现在以下几个方面。

• 网络异构性 ：异构移动边缘计算网络由终端设备、多层MEC服务器和云中心组成。在底层，分布着各种终端设备。在其上方，根据在网络中的部署位置，在多层上部署了不同类型的MEC服务器，包括接入点、交换机、网络网关和小型数据中心。最上层通常指云中心。
• 资源异构性 ：不同的设备（云中心、MEC服务器或终端设备）可能由多种服务器类别构成，在计算和传输资源方面具有不同的配置。例如，靠近终端设备的接入点的传输资源可以是时间、频率及其他无线传输资源，而其他MEC服务器和云中心则拥有有线传输资源，如带宽资源。
• 需求异质性 ：此外，异构多接入边缘计算网络在资源需求方面也具有更高的多样性。根据底层应用的不同，各种任务可能需要vastly不同的计算和传输资源。

然而，要实现整个网络中计算和传输资源的充分利用仍面临诸多挑战。First，由于每个任务可以在多层中部分处理，因此这些层之间的卸载数据量因整个网络中的有限资源而相互关联。Second，计算和传输资源分配紧密耦合，直接影响多层间的任务卸载，二者共同决定了系统性能。Third，由数据突发和不稳定的无线环境引起系统状态的时间变化，使得以在线方式优化任务卸载和资源分配变得十分困难。传统的离线解决方案（例如凸优化）在此情况下效果不佳，因为它们通常需要准确的系统状态信息[13]。

为应对这些挑战，本文提出了一种基于强化学习（RL）的异构多接入边缘计算（HetMEC）框架，该框架能够更好地捕捉任务卸载与资源分配之间耦合关系下系统状态的时间变化。在所提出的框架中，耦合项被视为一个整体，即动作，而强化学习为决策者（即智能体）提供了一种通过持续与系统环境交互来选择最优动作的方法。针对系统状态的时间变化，该基于强化学习的框架考虑了来自环境的未来奖励反馈，通过调整策略以实现最佳长期目标，从而有望在随机动态环境下解决自动控制与决策问题[14],[15]。本文还讨论了异构移动边缘计算网络中的多项研究问题及基于强化学习的解决方案，包括基于认知无线电（CR）的频谱接入、定价方案设计以及网络拥塞控制，并介绍了若干潜在使能技术。

为了进一步利用基于所提出的强化学习框架的异构多接入边缘计算，以下列出的若干开放性问题仍需仔细解决，这可能为后续研究指明方向。

• 异构多接入边缘计算的网络规划与优化 ：异构多接入边缘计算的效率在很大程度上依赖于网络规划与优化，需要考虑服务器部署等多个方面。应在终端设备与云中心之间精心设计MEC服务器的部署位置，以向足够数量的用户提供计算服务。此外，对于异构多接入边缘计算的设计者而言，确定MEC服务器的数量也至关重要，包括多接入边缘计算服务器层数以及满足服务需求所需的服务器密度，这些因素与基础设施部署成本密切相关。
• 异构多接入边缘计算的网络控制 ：基于规划和优化的异构多接入边缘计算，应充分考虑用于协调异构移动边缘计算网络中部署在多层上的设备的网络控制。由于相邻层需要定期交换信息以实现跨层协调，因此需要一种高效方案
• HetMEC的应用特定问题 ：不同的应用可以部署在异构多接入边缘计算网络之上，从而引出新的研究问题。例如，在感知移动性的应用中，如车联网，高速车辆会导致频繁小区切换和拓扑结构的快速变化。多媒体相关应用，如导航、视频流和虚拟现实，通常会异步且重复地请求一些高度集中且流行的内容。支持缓存的MEC可通过在MEC服务器上缓存这些内容来避免相同内容的频繁复制，相关的缓存放置、内容描述以及存储资源分配等问题需要仔细解决。对于大规模连接应用，可重构智能表面（RIS）可能是一种潜在解决方案，其通过波束成形支持多用户接入。

本文的其余部分组织如下。在第二节中，我们介绍了HetMEC的网络架构，阐述了其组成部分、任务卸载机制、计算与通信模型、实现方式以及优势。在第三节中，提出了面向异构多接入边缘计算的基于强化学习的框架，并在此基础上展示了关键研究问题与解决方案。性能评估在第四节中给出。第五节讨论了异构移动边缘计算网络的若干进一步工作与开放问题。最后，在第六节中得出了结论。

II. 异构多接入边缘计算的网络模型

我们考虑如图2所示的异构移动边缘计算网络，该网络由终端设备、N层MEC服务器和云中心组成。每个终端设备通过第N层MEC服务器接入网络（即通过它们之间的无线链路接入点（AP）。从终端设备（EDs）接收的数据可以通过有线链路进一步上传到上层的MEC服务器和云中心（CC）。在这种树状结构中，每个终端设备或MEC服务器最多只能连接一个上层的父节点。为了与子节点通信，每个MEC服务器或云中心拥有一定量的无线或有线传输资源2。具体而言，第N层上的接入点（APs）拥有无线传输资源，而其他MEC服务器和云中心则拥有有线传输资源。为支持数据处理服务，每个节点可能拥有不同数量的计算资源3。在本节其余部分，我们将介绍异构移动边缘计算网络的网络组件、任务卸载机制、计算与通信模型、实现方式及其优势。

A. 网络组件

考虑到异构多接入边缘计算网络中的多样化设备，即终端设备、MEC服务器和云中心，以下对这些设备进行简要介绍。

• 边缘设备 ：通常，原始数据由终端设备（EDs）感知、收集和生成，这些设备通常包括物联网设备（IoT devices），例如手机、摄像头和其他传感器。为方便起见，我们将终端设备称为第N+1层。每个终端设备具备一定的计算能力，能够处理部分原始数据，并将剩余原始数据与处理结果一起传输至其连接的MEC服务器。
• MEC服务器 ：根据在异构多接入边缘计算网络中的部署位置，具有特定计算能力的各种功能节点作为不同层上的MEC服务器，自底层向上依次为接入点、交换机、网络网关和小型数据中心。作为MEC服务器的底层，接入点接收来自连接的终端设备的原始数据和处理结果，对部分接收到的原始数据进行处理，并将剩余原始数据连同处理结果转发给其父节点，直至云中心。
• 云中心 : 云中心（CC），例如亚马逊EC2、CloudSigma或ElasticHosts，通过有线链路从MEC服务器接收数据，并处理剩余原始数据。最后，CC将最终结果转发给生成该任务的用户。为方便起见，我们将云中心称为第0层。

B. 任务卸载机制

根据任务的发起者，下面介绍了两种主要的任务卸载机制模式。

• Cloud-initiatedHetMEC ：为了支持部署在远程云中心的各种应用，云中心需要大量终端设备生成并上传大量原始数据
• 边缘发起的异构多接入边缘计算 ：由于个人需求，一些应用直接由终端设备提供，例如增强现实、实时在线游戏、视频流等。当终端设备因计算能力和电池容量有限而无法处理这些应用时，它们可以向MEC服务器和云中心寻求帮助以获得计算服务，从而形成移动边缘计算的边缘发起模式。具体而言，终端设备将任务提交给云中心。随后，云中心将任务广播给MEC服务器，并将无法在本地处理的任务的数据卸载到多接入边缘计算服务器层和核心云层。

C. 计算与通信模型

我们考虑部分计算卸载，其中数据按位独立，可被任意划分为多个部分，一部分在终端设备上处理，其余部分则卸载到MEC服务器和云中心。如图3所示，在任务发布后，云中心确定任务卸载方案，并逐层广播任务划分策略，MEC服务器和终端设备据此执行数据处理与传输。这里以一个包含单个MEC层的异构移动边缘计算网络为例，说明在每个终端设备生成数据流后，数据流的处理过程，包括以下阶段。

• 各终端设备的数据处理：每个终端设备从环境中生成和收集原始数据，并对部分数据进行处理。
• 数据传输到每个MEC服务器：每个终端设备通过无线连接将处理结果和剩余原始数据传输到相应的MEC服务器。
• 每个MEC服务器的数据处理：每个MEC服务器处理部分数据。
• Data Transmission tothe CC: 每个MEC服务器通过有线连接向云中心传输其自身的处理结果、与其相连的终端设备的处理结果以及剩余原始数据。
• 云中心的数据处理：云中心处理剩余的原始数据。最后，云中心汇总结果并将其传递给用户。

在高负载情况下，上述五个阶段可以视为一个pipeline，如图4所示。任务的延迟定义为从终端设备到云中心的处理时间与传输时间之和。我们使用任务划分百分比参数sn(0 ≤ n ≤ N+1)来描述云中心、每一层MEC服务器以及每个终端设备需要分别处理的任务。每个处理/传输阶段所花费的时间可以计算为：

• 处理时间 ：每个终端设备上的数据生成速率为λ。在任何一个时间单位内，∆，每个终端设备生成的数据量为λ∆。设备上的数据处理时间可计算为snλ∆/θn，其中snλ∆是设备上处理的数据量，θn是每个设备每秒的计算吞吐量，即计算资源。
• 传输时间 ：设备需要向其父节点传输的数据包括从子节点接收到的处理结果、自身产生的处理结果以及剩余原始数据。因此，第n层每个设备的数据传输时间可计算为(ρ∑N+1 i=n+1 si+∑n

D. 异构多接入边缘计算的实现

我们基于Linux系统、通用软件无线电外设(USRP)和英特尔下一代计算单元（Intel NUCs）建立了一个包含单层MEC服务器[9]的异构多接入边缘计算系统。该演示系统可在[19]中获得，并可轻松扩展至多层情况。异构多接入边缘计算实现(N=1)的主要模块如下所列。

• 网络初始化模块 ：网络初始化模块负责：1）无线信道的建立，2）对无线和有线链路的传输资源进行虚拟化与管理，3）为上层框架提供应用程序接口(API)。
• 系统管理模块 ：系统管理模块包括系统初始化、节点注册、资源配置信息更新、逻辑图构建与管理。
• 资源管理模块 ：在资源管理模块中评估空闲的计算和传输资源。
• 任务卸载模块 ：任务卸载模块旨在根据每个节点的空闲资源设计任务卸载方案。
• 任务执行模块 ：根据任务卸载配置文件，该模块负责卸载任务并管理卸载和处理的任务队列。

此外，网络功能虚拟化(NFV)和软件定义网络(SDN)技术是极具前景的解决方案，可使异构多接入边缘计算在终端设备附近提供网络功能、内容和资源[6]。前者使单个服务器能够创建多个虚拟机（VM），以同时运行不同的网络功能，从而为多个终端设备执行数据处理。SDN允许网络管理员通过功能抽象来管理服务，实现可扩展且动态的计算。

E. HetMEC的优势

鉴于异构移动边缘计算网络的异构性，我们研究了其相较于传统云计算和多接入边缘计算网络的独特优势。

• 低系统延迟 ：每秒在终端设备上生成的所有任务的总延迟被视为系统延迟。通过使所有具备计算能力的设备支持计算任务，异构多接入边缘计算缓解了云中心因移动应用数量不断增加而带来的巨大计算压力，从而降低了处理延迟。此外，由于处理结果通常比原始数据小得多，传输延迟也可以降低[18]。因此，所提出的网络提供低延迟数据处理。
• 高处理速率 ：我们指的是网络每秒处理的平均数据量由每个终端设备作为处理速率。对于高数据速率应用，上层MEC服务器和云中心的强大计算能力可以弥补传统双层多接入边缘计算网络中计算资源不足的缺陷。在终端设备和下层MEC服务器无法处理的数据可进一步上传至更上层，直至云中心，以提升处理速率性能。
• 低能耗 ：通过将计算任务卸载到上层设备，异构多接入边缘计算能够节省具有有限电池容量的终端设备和下层MEC服务器的能耗。此外，MEC服务器是小型服务器，当数据处理在MEC服务器上部分完成时，每个MEC服务器的能耗远低于远程云中心[20]。
• 高效资源利用 ：与传统的云计算和多接入边缘计算网络不同，通信网络中多样化设备的任务和计算资源可以在异构移动边缘计算网络中得到综合利用。具体而言，从终端设备到云中心的不同设备被划分为相应的层，并协同进行数据处理。通过综合考虑任务卸载和资源分配，进一步优化了网络资源利用率。

III. 用于任务、计算与无线资源管理的基于强化学习的框架

首先针对任务卸载方案设计问题，提出了一种基于强化学习的框架，以应对在时变数据生成速度和不稳定无线环境下的任务卸载与资源分配之间的复杂耦合。同时还讨论了针对基于认知无线电的频谱接入、定价机制设计以及网络拥塞控制等研究问题的其他基于强化学习的解决方案。

A. 强化学习简介

强化学习（RL）通过智能体与系统环境的持续交互，学习智能体应如何选择最优动作[21]。具体而言，在每次迭代中，智能体观察环境的当前状态，而关于状态转移的系统的试错过程由一个标量强化信号表示，即奖励。形式上，标准强化学习的三个关键要素描述如下：

• 状态空间 ：离散的环境状态集合；
• 动作空间 ：离散的智能体动作集合；
• 奖励 ：标量强化信号

强化学习（RL）的目标是通过试错方式逐步更新长期奖励，从而为系统的每个状态选择一个动作[22]。因此，在强化学习中考虑以下两个方面。

• Q-表更新 ：对于每个状态‐动作对，长期奖励由期望折现奖励（即Q‐值）表示，它是当前状态下采取该动作的即时奖励与基于新状态的未来期望奖励的加权和。在选择一个动作后，智能体会更新记录所有状态‐动作对Q‐值的Q‐表，并据此获得最优策略，用于在下一次迭代中选择能够最大化长期奖励的动作。
• 探索与利用的权衡 ：试错意味着智能体必须在未知环境中对探索与利用进行权衡，其中前者允许智能体探索可能在未来带来更高奖励的新动作，而后者促使智能体选择过去尝试中累积奖励最高的动作。采用Aε‐greedy探索策略[23]来指导智能体的动作选择。具体而言，该策略以概率ε随机选择一个动作，以概率1−ε选择最佳动作，其中最佳动作是指当前能够最大化期望折现奖励的动作。

B. 框架描述

在异构多接入边缘计算中应用强化学习时，将云中心视为智能体，而云中心之外的所有部分，即MEC服务器和终端设备，被视为环境。对于任务卸载方案设计，确定了三个关键要素，分别为动作、状态和奖励函数，具体如下。

• 状态空间 ：状态空间包含所有可能的数据生成速度、无线信道增益以及其他系统状态。
• 动作空间 ：考虑到耦合的任务卸载与资源分配以及多层之间的交互，每个动作应包含两部分，即任务卸载和资源分配，其中每一部分包含多层上所有设备的指令。云中心可用的相应动作集合构成动作空间。其他设计的方案，例如缓存方案、电池使用方案，也可以包含在动作空间中。
• 奖励 ：任务卸载与资源分配方案的质量由奖励函数表示。通常，它与系统性能相关，例如处理与传输时延、能效、频谱效率、处理速率等。利用更多的资源进行数据处理，可以在牺牲成本（包括第三节-C中的激励成本和第五节-A中的部署成本）的情况下提升网络性能。通过将成本与性能的加权和视为奖励，可在异构多接入边缘计算网络中实现成本与性能之间的权衡。此外，由于计算和传输资源有限，每个设备分配的资源不应超过该设备所拥有的总资源。当云中心选择违反该约束的动作时，奖励可以为负值，从而降低在后续迭代中再次做出相同选择的概率。

异构多接入边缘计算网络的基于强化学习的框架分为七个步骤，具体如下。

• 步骤1 ：云中心观测系统状态，该状态由数据生成速度和信道状态信息决定。根据观测到的状态，云中心从动作空间中随机选择一个动作来进行任务卸载和资源分配。
• 步骤2 ：MEC服务器和终端设备根据所选动作执行数据处理和传输。
• 步骤3 ：云中心获得一个系统延迟的函数，即奖励，该奖励表示在当前状态下所选动作的质量。
• 步骤4 ：更新记录每个状态‐动作对的期望折扣奖励的Q表，其中每个期望折现奖励是即时奖励和未来奖励的加权和。
• 步骤5 ：根据新的Q‐表更新用于获取动作的策略π，该动作可使当前状态下的期望折现奖励最大化，即策略π倾向于提高长期价值总和奖励。
• 步骤6 ：1)云中心以特定概率ε从动作空间中随机选择一个可用动作；2)云中心以概率1−ε根据策略π选择一个动作。
• 步骤7 ：重复步骤2‐6，直到网络收敛。

C. 基于强化学习的广泛研究问题解决方案

基于所提出的用于异构多接入边缘计算的强化学习框架，下文将讨论广泛研究问题的解决方案。

1) 基于认知无线电的频谱接入 ：考虑到大量终端设备与有限频谱资源之间的矛盾，终端设备实际上无法随时将数据卸载到接入点。认知无线电（CR）是一种解决频谱资源短缺问题的有前景的技术。具体而言，一组次级用户（即没有使用频谱许可的终端设备）可以感知主用户（即拥有使用频谱许可的终端设备）未占用的频谱，并以机会性的方式与其共享，从而在避免对主用户造成干扰的同时实现次级用户的最大吞吐量。

为了在动态网络环境中设计最优的频谱共享方案，可以扩展所提出的基于强化学习的框架，通过学习主用户的行为并跟踪频谱占用情况，从而最大化长期奖励。一组用于表示主用户的未占用频谱是否可被利用的指标被视为环境状态的一部分，而对未占用频谱的分配决策则被加入到动作空间中。此外，为了利用低干扰的优势，次级用户对主用户产生的干扰表达式可作为奖励函数的一项。

2) 定价机制设计 ：异构多接入边缘计算的主要思想是利用终端设备和MEC服务器的可用计算和传输资源来支持低延迟服务。然而，除非终端设备和MEC服务器能够获得足够的奖励以补偿其计算和传输资源消耗[24]，否则它们不愿意执行计算任务。因此，必须设计一种高效的定价方案，以激励MEC服务器和终端设备的参与，从而在激励成本与性能提升之间实现权衡。

基于所提出的框架，每个设备为计算/传输资源支付的价格应包含在动作空间中。只有当某设备支付的价格超过预设阈值时，该设备才会执行任务处理，该阈值表示计算和传输资源消耗水平。由终端设备和MEC服务器根据价格调整的阈值集合应作为环境状态的一部分。为了平衡激励成本与系统性能，将二者加权和视为奖励，其中前者作为惩罚项。

3) 网络拥塞控制 ：由于不同应用的数据生成速度可能不同，因此极有可能当终端设备上的数据生成速度超过某一界限时，无法实时处理的数据将在设备的缓冲区4中累积，最终导致系统拥塞。如果无论系统如何调整其计算和传输资源分配或任务卸载方案，至少一个设备的缓冲区中的数据仍会持续累积，则我们认为系统处于拥塞状态。在不同状态（非拥塞或拥塞）下定义并最小化系统延迟至关重要。

• 非拥塞状态下的系统延迟 ：在非拥塞状态下，我们将每个时间单位内在终端设备上创建的所有任务的总延迟视为系统延迟。如第二节-C所述，在异构移动边缘计算网络（N=1）中，每个时间单位内终端设备生成的数据需经过五个阶段才能完成处理，系统延迟可计算为上述五个阶段的处理/传输时间之和。
• 拥塞状态下的系统延迟 ：在拥塞状态下，我们旨在从整个网络的角度最小化清空缓冲区所需的时间。根据木桶理论[27]，五个阶段中最长的时段即为网络从拥塞状态恢复的瓶颈，该时段被视为拥塞状态的系统延迟。

4) 潜在使能技术 ：对于异构多接入边缘计算网络，存在一些可用来提升系统性能的潜在使能技术。典型的技术包括软件定义网络（SDN）、网络功能虚拟化（NFV）、无线能量传输（WPT）、以信息为中心的网络（ICN）以及动态频率电压调节（DVFS）。表I总结了上述各项技术对支持不同类型服务的适用性。

IV. 性能评估

在本节中，我们将异构移动边缘计算网络的系统延迟和处理速率与现有方法（包括本地计算、云计算[5], MEC[6], 和JCORA5[9]）进行比较。

A. 参数设置

我们假设终端设备在1秒的时间内传输大小为60千比特的文件，且处理每比特原始数据需要一个CPU周期。原始数据处理后的压缩比设定为10%。计算能力由每秒最大CPU周期数表示，传输资源由传输带宽反映。为了模拟各层之间计算和传输能力的差异，每个终端设备、接入点、交换机和云中心的计算资源分别限制为0.12百万CPU周期每秒（Mcps）、0.4 Mcps、1.5 Mcps和12兆比特每秒。每个接入点、交换机和云中心的传输资源分别限制为1.2 兆比特每秒、3 兆比特每秒和12 兆比特每秒。更多技术细节请参见我们的期刊论文[28]。

B. 网络性能评估

图5(a)和图5(b)分别展示了不同网络中系统延迟和处理速率随数据生成速度的变化情况。如图5(a)所示，随着数据生成速度的增加，所有网络的系统延迟均有所上升，因为需要处理的数据量增大，导致系统延迟增加。在不同的数据生成速度下，异构移动边缘计算网络的系统延迟始终保持最低，体现了异构移动边缘计算网络的优势。类似地，如图5(b)所示，异构移动边缘计算网络获得了相对较高的处理速率，尤其是在数据生成速度较大的情况下。随着数据生成速度的增加，当数据生成速度超过各自的阈值时，各网络达到饱和点，反映出网络处理速率的瓶颈。在达到瓶颈后，网络无法为新生成的数据提供更多的计算资源，处理速率停止增长。由于异构移动边缘计算网络联合利用了整个网络的计算和传输资源，因此实现了最高的处理速率饱和点。

与HetMEC (N=1) 网络相比，在相同数据生成速度下，HetMEC (N=2) 网络的系统延迟更低（或处理速率更高），因为异构多接入边缘计算 (N=2) 网络中的计算和传输资源更加丰富。通过在异构移动边缘计算网络中联合利用不同层的计算和传输资源，并在各层之间合理卸载计算任务，随着层数的增加，更多资源的参与使得系统延迟进一步降低，处理速率进一步提高。

五、进一步工作与开放性问题

作为一种有效充分利用资源的网络，异构多接入边缘计算展现出降低系统延迟的潜力并提升系统性能。然而，仍有一些开放性问题需要仔细解决，这可能会推动进一步的创新与研究。首先，考虑网络规划与优化。针对此类网络，需研究包括信息交换机制和通信方案设计在内的网络控制。最后，考虑到需支持具有不同特性的各种应用以及用户需求，讨论了若干潜在的关键研究方向及可能的解决方案。

A. 异构多接入边缘计算的网络规划与优化

异构多接入边缘计算的效率在很大程度上依赖于其网络规划与优化[29]，这需要考虑服务器部署等多个方面。实际设计中的挑战和开放性问题，包括MEC服务器的部署位置、层数以及边缘计算服务器密度，应进一步予以考虑。

1) MEC服务器的部署位置 ：MEC的主要动机是在终端设备附近提供计算服务，以减少传输延迟并缓解核心网的巨大压力。然而，网络中MEC服务器的具体部署位置并未明确规定。具体而言，MEC服务器可以自下而上地部署在终端设备与云中心之间的任何位置，包括接入点、交换机、网络网关以及小型数据中心。通过将MEC服务器部署在最靠近终端设备的接入点上，可以显著降低传输延迟，但由于单个接入点覆盖范围有限，可能导致MEC服务器数量众多，从而带来较高的部署成本。相反，在上层设备上部署MEC服务器虽然能够节省部署成本，但可能增加传输延迟。因此，有必要在部署成本与以延迟衡量的服务质量（QoS）之间找到一个权衡。

此外，与传统基站（BSs）的部署位置不同，MEC服务器的最优部署位置与计算资源供应相互关联，使其更具挑战性。

2) 多接入边缘计算服务器层数 ：与传统多接入边缘计算网络不同，异构多接入边缘计算支持多层MEC服务器协同进行数据处理。直观上，当更多层的MEC服务器带来更多的计算和传输资源时，网络能够处理更多的数据任务。然而，当多接入边缘计算服务器层数增加到某一数值后，由于资源过剩、复杂拓扑等因素，系统性能将不再提升甚至可能下降。此外，随着MEC服务器层数的增加，注册和方案广播的开销也随之增大，且与设备数量成正比。因此，确定边缘计算层数的最优值以平衡网络性能与成本至关重要。

3) 边缘计算服务器密度 ：确定满足服务需求所需的服务器密度至关重要，这与基础设施部署成本密切相关。显然，MEC服务器的密集分布既能带来高质量的体验（QoE），也会导致高部署成本。当MEC服务器部署过于密集时，会导致计算资源过剩，并因维持空闲MEC服务器运行而产生不必要的能耗。此外，异构多接入边缘计算在不同层上包含不同类型的MEC服务器，这些服务器提供不同级别的计算能力，并带来不同的部署成本。因此，在给定的部署预算和计算需求统计下，应充分考虑不同类型MEC服务器的数量及其最优组合。

B. 异构多接入边缘计算的网络控制

异构多接入边缘计算（HetMEC）通过终端设备、多层MEC服务器以及云中心的协作，实现同时提供大量计算服务。然而，随着网络规模的扩大，网络控制方面也带来了以下需要解决的新问题。

1) 信息交换方案设计 ：为了协调部署在多层上的设备在异构多接入边缘计算中的协作，在网络中，相邻层需要定期交换状态信息，例如资源利用率、计算需求统计、网络拥塞等。然而，信息交换不可避免地会占用传输信道，带来额外的延迟，并可能降低延迟性能。因此，应设计一种高效方案，以在信息内容和交换周期方面最小化交换的信息量。

一种潜在的解决方案是考虑在异构多接入边缘计算（HetMEC）中采用物理层网络编码（PNC）[30]来辅助用户对之间的信息交换。具体而言，PNC可通过数字混合（即异或）操作，在中继处将两个输入信号合并为一个输出信号，从而减少信道资源的使用，并能够通过执行类似操作恢复原始信息。此外，还应考虑同一层上的设备之间是否需要以及需要交换何种信息。

2) 通信机制设计 ：针对不同的任务卸载机制模式，云中心发起的异构多接入边缘计算由云中心以集中式方式控制，而边缘发起的异构多接入边缘计算则由终端设备分布式地控制，从而导致不同的通信机制设计。

• 单云集中式异构多接入边缘计算 ：作为异构移动边缘计算网络的中央控制器，顶层的云中心可以收集全局信息并做出最优决策。然而，终端设备和MEC服务器需要为每个数据包向远程云中心发送资源请求消息，从而导致额外的延迟，这必须被考虑在内。
• 多个终端设备间的分布式异构多接入边缘计算 ：对于由边缘发起的异构多接入边缘计算，终端设备以分布式方式做出决策。传统上，为了实现彼此之间的通信，数据通过上层的MEC服务器从一个终端设备传输到另一个终端设备[31]。在密集网络中，多次传输可能导致大量资源浪费，尤其是在使用昂贵的授权频谱时。设备到设备（D2D）通信[32]可通过邻近终端设备之间的直接通信绕过上层MEC服务器，从而显著降低端到端延迟，但诸如干扰等若干限制需要得到充分解决。
• 多云环境下的分布式异构多接入边缘计算 ：由于中心云在服务类型、资源、存储、计算成本等方面的差异，各类服务提供商倾向于将应用部署在不同的中心云上[33]，而非单一的中心云。因此，有必要研究每个中心云关联一个独立服务提供商的多中心云场景。与由多个终端设备分布式控制的异构多接入边缘计算不同，多个独立中心云之间没有上层设备协助通信，导致各中心云为争夺终端设备和MEC服务器的计算和传输资源而产生竞争。具体而言，每个中心云都试图尽可能占用更多的MEC服务器和终端设备资源，以提升自身任务的性能（如任务延迟）。因此，有必要设计一种高效的分布式机制来刻画中心云之间的竞争关系。

C. HetMEC的应用特定问题

各种应用通常会带来不同的问题，并需要不同的解决方案。接下来，我们介绍异构移动边缘计算网络中三类潜在的应用，并讨论相关的关键研究问题和可能的解决方案。

1) 感知移动性的应用 ：如图6所示，随着车辆网络的发展，越来越多的智能交通应用被部署在智能车辆上[34]，例如主动驾驶安全辅助、智能停车、道路交通监控和自动管理[35],[36]。这些对低延迟数据处理有需求的应用给智能车辆带来了巨大挑战。异构多接入边缘计算网络可以成为车辆网络的理想选择，通过整个网络计算资源的协同，有效降低响应时间。

然而，这些感知移动性应用中终端设备（车辆）的移动性带来了重大挑战。

• 频繁小区切换 ：如果终端设备的计算任务需要较长时间才能完成，在任务处理周期内，终端设备可能会经过多个MEC服务器。在这种情况下，处理结果需要从已完成任务的MEC服务器传输到终端设备新接入的另一个MEC服务器。由于网络配置和边缘设备‐多接入边缘计算关联的多样性，小覆盖范围多接入边缘计算服务器之间的频繁小区切换极为复杂，并可能导致干扰和延迟增加。
• 频繁的拓扑变化 ：在车辆网络中，车辆可以通过多种方式接入连接MEC服务器的路侧单元（RSU），例如V2I模式和V2V模式。由车辆移动性引起的动态拓扑变化使得任务卸载变得复杂。为了提高数据处理效率，必须设计一种具有资源共享和服务器协作的最优任务卸载方案，以提高资源利用率，特别是为高速车辆提供更多资源，但受限于MEC服务器之间有限且困难的通信。

此外，对于静态MEC服务器（例如基站、接入点）发生故障的场景，如灾难响应、紧急救援和军事攻击，具有高效轨迹设计的可移动MEC服务器可以为终端设备[37]提供紧急计算服务。

2) 多媒体相关应用 ：随着对多媒体内容需求的不断增加，一些高度集中且受欢迎的内容将被多媒体相关应用异步且重复地请求，例如导航、视频流、虚拟现实等。如图7所示，支持缓存的异构多接入边缘计算可通过在终端设备、MEC服务器和云中心缓存这些内容，减少相同内容的频繁复制，从而处理来自多个终端设备的卸载计算任务[8]。为了在异构多接入边缘计算网络中利用缓存技术，以下方面被应用于任务卸载方案设计中。

• 缓存放置 ：在上层设备进行缓存可以获得更高的缓存命中概率（即用户请求的内容已缓存在异构多接入边缘计算网络中的概率），因为上层设备覆盖范围更大，能够服务更多的设备。然而，由于从上层到底层的传播距离较长，通常会导致较低的数据速率。因此，应仔细选择缓存部署位置，以实现命中概率与数据速率之间的权衡。
• 内容描述 ：为了确定在异构多接入边缘计算网络中缓存哪些内容，应考虑内容流行度以最大化缓存命中概率。可以将其视为静态的，并采用独立引用模型，其中内容请求根据独立泊松过程生成。为了反映更一般的情况，即内容流行度随时间变化且事先未知，应进一步基于机器学习技术研究内容流行度的动态跟踪与估计。
• 存储资源分配 ：每个设备（ED、MEC服务器或云中心）都拥有一些存储资源，以支持HetMEC网络中的缓存服务。因此，应设计一种高效方案来分配这些存储资源。此外，由于存储资源在物理上分布在网络中，且缓存请求由地理上分散的节点生成，因此应充分考虑设备间的协作。

3) 大规模连接应用 ：在物联网快速发展的推动下，大量终端设备将连接到6G无线通信网络第N层的MEC服务器，以支持环境感知、医疗保健、事件检测等多样化应用。每个MEC服务器连接的设备数量可能达到10^4至10^6[38]量级。为了支持大规模连接，智能反射面（RIS）可能是一种潜在的解决方案，它通过控制多个单元的电磁响应来将传播环境塑造为期望的形式，并通过执行波束成形[39]来支持多用户接入。如图8所示，RIS是一种嵌有多个由电磁材料制成的智能反射面单元的表面。这些智能反射面单元可以以不同方式变换电磁射线，其电磁响应（例如相位偏移）可通过简单的可编程PIN二极管进行控制，从而将信号从MEC服务器反射至终端设备。对每个智能反射面单元的这种电磁响应控制实际上等同于模拟波束成形，可用于实现大规模连接。

VI. 结论

在本文中，我们研究了一种由核心云层、多个多接入边缘计算服务器层和边缘设备层组成的异构移动边缘计算网络，以充分利用整个网络中的计算和传输资源。随后提出了一种用于异构多接入边缘计算的基于强化学习的框架，以优化任务卸载和资源分配，并广泛探讨了包括基于认知无线电的频谱接入、定价机制设计和网络拥塞控制等问题及解决方案。一个数值示例表明，与传统网络相比，它可以有效降低系统延迟并提高处理速率。

在未来的研究中，异构多接入边缘计算的网络规划与优化可以通过对MEC服务器的部署位置、层数以及密度的感知得到进一步提升。鉴于其异构特性，潜在的研究方向包括用于网络控制的信息交换机制和通信方案设计。为了支持多样化应用，针对高移动性应用中的频繁小区切换和拓扑变化可以成为关键研究问题；异构多接入边缘计算还可扩展至支持缓存的场景，以满足多媒体相关应用对频繁请求相同内容的需求；此外，基于智能反射面，异构多接入边缘计算有望满足大规模连接的需求。