异构多层边缘计算：6G时代的低延迟架构

异构移动边缘计算：第六代移动通信时代的异构多层移动边缘计算

摘要

在移动应用日益增长的推动下，移动边缘计算（MEC）被视为支持海量数据处理服务的有前景的候选技术。然而，传统移动边缘计算在整个网络中对计算和传输资源的利用不足，导致在第六代移动通信时代尤其面向计算密集型应用时，处理与传输时延不可避免地较长。本文提出一种异构多层移动边缘计算（HetMEC），其中从边缘设备（EDs）——即在无线接入网络中生成计算任务原始数据的移动设备——到云中心（CC）的不同设备，天然地分布于网络的不同层，并协同进行数据处理。为支持低延迟服务，构建了一个基于强化学习的框架，以适应不稳定的无线环境以及各边缘设备动态变化的数据生成速度。在此框架下，提出了包括任务卸载、基于认知无线电的频谱接入、定价机制设计以及网络拥塞控制等关键研究问题与解决方案。同时，从网络规划与优化、网络控制以及应用特定问题的角度，讨论了一些进一步的研究方向和开放性问题。

索引词

异构网络，强化学习，多层边缘计算

一、引言

随着移动网络的快速发展，到2022年全球IP流量将达到每月约400艾字节，推动了第六代移动通信的研究。这些终端设备（EDs），包括笔记本电脑、平板电脑和手机，会在交通、医疗保健、智慧城市等领域收集或生成大量计算密集型应用所需的数据。为了支持具有高计算需求的应用，已提出云计算技术，将海量数据卸载至远程云中心。得益于计算、存储和网络管理的集中化，云计算能够提供海量资源以支持计算服务。

然而，终端设备到远程云中心的传播距离较长，导致应用的传输延迟过高。

为应对云计算的困境，移动边缘计算（MEC）已被研究用于将计算任务卸载至部署在终端设备与云中心之间的MEC服务器[6],[7]。具体而言，这些MEC服务器（例如接入点（APs））具备计算资源以支持部分计算任务，为终端设备提供靠近性的计算服务。当这些终端设备在通信网络边缘产生计算任务的原始数据时，它们可以将数据卸载到附近的MEC服务器，而不是远程云中心。因此，移动边缘计算得益于计算资源的靠近性，支持低延迟和高效的数据处理[8]。

然而，大多数现有研究仅利用了网络中有限的计算资源来执行计算任务[9]–[12], ，导致处理能力较低1。如图1所示，一些研究要么忽略了云中心[9],[10],的资源，要么专注于边缘‐云架构，该架构仅利用通过无线链路与终端设备直接通信的MEC服务器的资源[11],[12],，而上层MEC服务器（例如小型数据中心）的资源则被浪费。文献[9]研究了具有单个MEC服务器的无线蜂窝网络中的任务卸载和干扰管理。文献[11],中将云和边缘相结合，构建了一个由终端设备、接入点和云中心组成的三层数据流处理系统。贯穿终端设备、多种MEC服务器以及云中心之间的计算和传输资源的协同仍未能得到充分挖掘。因此，有必要将无法在MEC服务器上处理的数据卸载到上层设备。

本文提出了一种异构多层MEC（HetMEC），以整体利用整个网络中的计算和传输资源。在异构移动边缘计算网络中，当发布一个计算任务时，该任务可以被划分为多个部分，分别在终端设备、多层MEC服务器以及云中心进行处理。

异构移动边缘计算的异构性体现在以下几个方面。

• 网络异构性 ：异构移动边缘计算网络由终端设备、多层MEC服务器和云中心组成。在底层，分布着各种终端设备。在其上方，根据在网络中的部署位置，在多层上部署了不同类型的MEC服务器，包括接入点（APs）、交换机、网络网关和小型数据中心。最上层通常指云中心。
• 资源异构性 ：不同的设备（云中心、MEC服务器或终端设备）可能由多种服务器类别构成，在计算和传输资源方面具有不同的配置。例如，距离终端设备最近的接入点的传输资源可以是时间、频率及其他无线传输资源，而其他MEC服务器和云中心则拥有带宽资源等有线传输资源。
• 需求异质性 ：此外，异构移动边缘计算网络在资源需求方面也具有更高的多样性。根据底层应用的不同，任务可能需要vastly不同的计算和传输资源。

然而，要实现整个网络中计算和传输资源的充分利用仍面临若干挑战。First，由于每个任务可以在多层中部分处理，因此这些层之间的卸载数据量因整个网络中的有限资源而相互关联。Second，计算和传输资源分配紧密耦合，直接影响多层间的任务卸载，二者共同决定系统性能。Third，由数据突发和不稳定的无线环境引起的系统状态的时间变化，使得以在线方式优化任务卸载和资源分配变得非常困难。传统的离线解决方案（例如凸优化）在此情况下效果不佳，因为它们通常需要准确的系统状态信息[13]。

为应对这些挑战，本文提出了一种基于强化学习（RL）的异构移动边缘计算（HetMEC）框架，该框架能够更好地捕捉任务卸载与资源分配之间耦合所导致的系统状态时间变化。在所提出的框架中，耦合项被视为一个整体，即“动作”，而强化学习为决策者（即智能体）提供了一种通过持续与系统环境交互来选择最优动作的方法。针对系统状态的时间变化，该基于强化学习的框架考虑了来自环境的未来奖励反馈，并调整策略以实现最佳长期目标，从而有望在随机动态环境中解决自动控制与决策问题[14],[15]。本文还讨论了异构移动边缘计算网络中的广泛研究问题及基于强化学习的解决方案，包括基于认知无线电（CR）的频谱接入、定价方案设计以及网络拥塞控制。

同时介绍了若干潜在使能技术。

为了进一步利用基于所提出的强化学习框架的异构移动边缘计算，以下列出的若干开放性问题仍有待深入研究，这些问题可能为未来的研究提供方向。

• 异构移动边缘计算的网络规划与优化 ：异构移动边缘计算的效率在很大程度上依赖于网络规划与优化，其中需考虑服务器部署等多个方面。MEC服务器在终端设备与云中心之间的部署应经过精心设计，以向足够数量的用户提供计算服务。此外，对于异构移动边缘计算的设计者而言，确定MEC服务器的数量也至关重要，包括MEC服务器的层数以及满足服务需求所需的服务器密度，这些因素与基础设施部署成本密切相关。
• 异构多接入边缘计算的网络控制 ：基于规划和优化的异构移动边缘计算，应充分考虑用于协同部署在多层的设备的异构移动边缘计算网络中的网络控制。由于相邻层需要定期交换信息以实现跨层协调，因此需要一种高效方案应设计为最小化交换信息量，而网络编码技术可能对此有所帮助。此外，分别讨论并设计了适用于集式与分布式网络的不同通信方案。
• HetMEC的应用特定问题 ：不同的应用可以部署在异构移动边缘计算网络之上，从而引出新的研究问题。例如，在感知移动性的应用中，如车联网，高速车辆会导致频繁小区切换和拓扑结构的快速变化。多媒体相关应用，如导航、视频流和虚拟现实，通常需要异步且重复地获取一些高度集中和流行的内容。支持缓存的MEC可通过在MEC服务器上缓存这些内容来避免相同内容的频繁复制，但相关的缓存放置、内容描述和存储资源分配等问题需得到仔细解决。对于大规模连接应用，可重构智能表面（RIS）可能是一种潜在解决方案，其通过波束成形支持多用户接入。

本文的其余部分组织如下。在第二节中，我们介绍了HetMEC的网络架构，阐述了其组成部分、任务卸载机制、计算与通信模型、实现方式以及优势。在第三节中，提出了用于异构移动边缘计算的基于强化学习的框架，并在此基础上介绍了关键研究问题和解决方案。性能评估在第四节中给出。第五节讨论了异构移动边缘计算网络的若干进一步工作和开放性问题。最后，在第六节中得出了结论。

II. 异构移动边缘计算的网络模型

我们考虑如图2所示的异构移动边缘计算网络，该网络由终端设备、N层MEC服务器和云中心组成。每个终端设备通过第N层MEC服务器接入网络（即通过它们之间的无线链路将数据上传至接入点（AP）。从终端设备（EDs）接收到的数据可进一步通过有线链路上传至上层的MEC服务器和云中心（CC）。在这种树状结构中，每个终端设备（ED）或MEC服务器最多只能连接一个上层的父节点。为了与子节点通信，每个MEC服务器或云中心（CC）都拥有一定数量的无线或有线传输资源2。具体而言，第N层上的接入点（APs）拥有无线传输资源，而其他MEC服务器和云中心（CC）则拥有有线传输资源。为支持数据处理服务，每个节点可能具备不同数量的计算资源3。在本节的其余部分，我们将介绍异构移动边缘计算网络（HetMEC network）的网络组件、任务卸载机制、计算与通信模型、实现方式以及优势。

A. 网络组件

考虑到异构移动边缘计算网络中的多种设备，即终端设备、MEC服务器和云中心，以下对这些设备进行简要介绍。

• 边缘设备 ：通常，原始数据由终端设备（EDs）感知、收集和生成，这些设备通常包括物联网（IoT）设备，例如手机、摄像头和其他传感器。为方便起见，我们将终端设备称为第N+1层。每个终端设备具备一定的计算能力，能够处理部分原始数据，并将剩余原始数据与处理结果一并传输给其连接的MEC服务器。
• MEC服务器 ：根据在异构移动边缘计算网络中的部署位置，具有特定计算能力的各种功能节点作为不同层上的MEC服务器，自下而上分别为接入点、交换机、网络网关和小型数据中心。作为MEC服务器的最底层，接入点接收来自所连接终端设备的原始数据和处理结果，对部分接收到的原始数据进行处理，并将剩余原始数据连同处理结果转发给其父节点，直至云中心。
• 云中心 : 云中心（CC），例如亚马逊EC2、CloudSigma或ElasticHosts，通过有线链路从MEC服务器接收数据，并处理剩余原始数据。最后，CC将最终结果转发给生成该任务的用户。为方便起见，我们将云中心称为第0层。

B. 任务卸载机制

根据任务发起者，提出了两种主要的任务卸载机制方式。

• Cloud-initiated HetMEC ：为了支持部署在远程云中心的各种应用，云中心需要大量终端设备生成并上传大量原始数据。例如，在灾难中，终端设备上的摄像头收集灾难现场的数据并上传到远程云中心，从而构建灾区的详细地图[17]。在这种情况下，云中心向终端设备和MEC服务器发布任务，利用它们的计算和传输资源进行任务处理，从而减轻云中心的计算压力并提升系统性能。云中心可被视为异构移动边缘计算的中心控制器，以集中式方式决定任务卸载和资源分配。
• 边缘发起的异构多接入边缘计算 ：由于个人需求，一些应用直接由终端设备提供，例如增强现实、实时在线游戏、视频流等。当终端设备因计算能力和电池容量有限而无法处理这些应用时，它们可以向MEC服务器和云中心请求计算服务，从而形成一种边缘发起的移动边缘计算模式。具体而言，终端设备将任务提交给云中心，然后云中心将任务广播给MEC服务器，并将无法在本地处理的任务的数据卸载到多接入边缘计算服务器层和中心控制器层。

C. 计算与通信模型

我们考虑部分计算卸载，其中数据按位独立，可被任意划分为若干部分，一部分在边缘设备上处理，其余部分则卸载至MEC服务器和云中心。如图3所示，在任务发布后，云中心确定任务卸载方案，并逐层广播任务划分策略，MEC服务器和终端设备据此执行数据处理与传输。此处以包含一层MEC的异构移动边缘计算网络为例，说明在每个终端设备生成数据流后，其数据流的处理过程，包括以下阶段。

• 各边缘设备的数据处理：每个ED从环境中生成和收集原始数据，并对部分数据进行处理。
• 数据传输到每个MEC服务器：每个边缘设备通过无线链路将处理结果和剩余原始数据传输到相应的MEC服务器。
• 每个MEC服务器的数据处理：每个移动边缘计算服务器处理部分数据。
• 数据传输到云中心：每个MEC服务器通过有线链路将其自身的处理结果、其连接的终端设备的处理结果以及剩余原始数据传输到云中心。
• 云中心的数据处理：云中心处理剩余的原始数据。最后，云中心汇总结果并将其交付给用户。

在高负载情况下，上述五个阶段可以视为a pipeline，如图4所示。任务的延迟定义为从边缘设备到云中心的处理时间与传输时间之和。我们使用任务划分百分比参数sn(0 ≤ n ≤ N+1)来描述云中心、每一层MEC服务器以及每个边缘设备需要分别处理。每个处理/传输阶段所花费的时间可以计算为：

• 处理时间 ：每个边缘设备上的数据生成速率为λ。在任何一个时间单位内，每个边缘设备生成的数据量为λ∆。设备上的数据处理时间可以计算为snλ∆/θn，其中snλ∆是设备上处理的数据量，θn是每个设备每秒的计算吞吐量，即计算资源。
• 传输时间 ：设备需要传输给其父节点的数据包括从子节点接收到的处理结果、自身产生的处理结果以及剩余原始数据。因此，第n层每个设备的数据传输时间可计算为(ρ∑N+1 i=n+1 si+∑n后的压缩比，φn是取决于设备传输资源的传输速度。

D. 异构移动边缘计算的实现

我们基于Linux系统、通用软件无线电外设（USRP）和英特尔下一代计算单元（Intel NUCs），建立了一个包含单层MEC服务器[9]的异构移动边缘计算系统。该演示系统可在[19],中获得，并可轻松扩展至多层场景。异构移动边缘计算实现（N=1）的主要模块如下所列。

• 网络初始化模块 ：网络初始化模块负责：1）无线信道的建立，2）对无线和有线链路的传输资源进行虚拟化和管理，3）向上层框架提供应用程序接口（API）。
• 系统管理模块 ：系统管理模块包括系统初始化、节点注册、资源配置信息更新、逻辑图构建与管理。
• 资源管理模块 : 在资源管理模块中评估空闲的计算和传输资源。
• 任务卸载模块 ：任务卸载模块旨在根据每个节点的空闲资源设计任务卸载方案。
• 任务执行模块 ：根据任务卸载配置文件，该模块进行任务卸载，并管理卸载和处理的任务队列。

此外，网络功能虚拟化（NFV）和软件定义网络（SDN）技术是极具前景的解决方案，可使异构移动边缘计算在终端设备附近提供网络功能、内容和资源[6]。前者能够使单个服务器创建多个虚拟机（VM），以同时运行不同的网络功能，从而为多个终端设备执行数据处理。SDN允许网络管理员通过功能抽象来管理服务，实现可扩展且动态的计算。

E. HetMEC的优势

鉴于HetMEC网络的异构性，我们研究了其相较于传统云计算和MEC网络的独特优势。

• 低系统延迟 ：每秒在终端设备上生成的所有任务的总延迟被视为系统时延。通过使所有具备计算能力的设备支持计算任务，异构移动边缘计算缓解了云中心因移动应用数量不断增加而面临的巨大计算压力，从而降低了处理延迟。此外，由于处理结果通常比原始数据小得多[18]，传输延迟也可以降低。因此，所提出的网络提供低延迟数据处理。
• 高处理速率 ：我们指的是网络每秒处理的平均数据量作为每个终端设备的处理速率。对于高数据速率应用，上层MEC服务器以及云中心的强大计算能力可以弥补传统双层MEC网络中计算资源不足的缺陷。在终端设备和下层MEC服务器无法处理的数据可进一步上传至更上层，直至云中心，以提升处理速率性能。
• 低能耗 ：通过将计算任务卸载到上层设备，异构移动边缘计算能够节省具有有限电池容量的终端设备和下层MEC服务器的能耗。此外，MEC服务器是小型服务器，当数据处理在MEC服务器上部分完成时，每个服务器的能耗远低于远程云中心[20]。
• 高效资源利用 ：与传统的云计算和MEC网络不同，通信网络中各种设备的使命和计算资源可以在异构移动边缘计算网络中得到综合利用。具体而言，从终端设备到云中心的不同设备被分类到相应的层，并协同进行数据处理。通过联合考虑任务卸载和资源分配，进一步优化了网络资源利用率。

III. 基于强化学习的框架用于任务、计算与无线资源管理

首先针对任务卸载方案设计问题，提出了一种基于强化学习的框架，以应对照时变数据生成速度和不稳定无线环境下的任务卸载与资源分配之间的复杂耦合关系。此外，还讨论了其他基于强化学习的解决方案，包括基于认知无线电的频谱接入、定价机制设计以及网络拥塞控制等研究问题。

A. 强化学习简介

强化学习通过智能体与系统环境的持续交互，学习智能体应如何选择最优动作[21]。具体而言，在每次迭代中，智能体观察环境的当前状态，并通过标量强化信号（即奖励）来指示关于状态转移的系统性试错过程。形式上，标准强化学习的三个关键要素描述如下：

• 状态空间 ：一组离散的环境状态；
• 动作空间 ：智能体动作的离散集合；
• 奖励 : 标量强化信号。

强化学习的目标是通过试错方式逐步更新长期奖励，从而为系统的每个状态选择一个动作[22]。因此，RL中考虑了以下两个方面。

• Q-表更新 ：对于每个状态‐动作对，长期奖励由期望折扣奖励（即Q‐值）表示，它是当前状态下执行此动作的即时奖励以及基于执行该动作后新状态的未来预期奖励的加权和。在选择一个动作后，智能体更新记录了所有状态‐动作对Q‐值的Q‐表，并据此获得最优策略，用于在下一次迭代中选择动作以最大化长期奖励。
• 探索与利用权衡 ：试错意味着智能体必须在未知环境中对探索与利用进行权衡，前者允许智能体探索可能在未来带来更高奖励的新动作，后者则引导智能体选择过去尝试中累积奖励最高的动作。采用Aε‐greedy探索策略[23]来指导智能体的动作选择。具体而言，该策略以概率ε随机选择一个动作，以概率1−ε选择当前能够最大化期望折扣奖励的最佳动作。

B. 框架描述

在异构移动边缘计算中应用强化学习时，将云中心视为智能体，而云中心之外的所有部分，即MEC服务器和终端设备，被视为环境。对于任务卸载方案设计，确定了三个关键要素，分别为动作、状态和奖励函数，具体如下。

• 状态空间 ：状态空间包括所有可能的数据生成速度、无线信道增益以及其他系统状态。
• 动作空间 ：考虑到耦合的任务卸载与资源分配以及多层之间的交互，每个动作应包含两部分，即任务卸载和资源分配，其中每部分包含多层上所有设备的指令。云中心可用的动作集合构成动作空间。其他设计的方案，例如缓存方案、电池利用方案，也可以包含在动作空间中。
• 奖励 ：任务卸载与资源分配方案的质量由奖励函数表示。通常，它与系统性能相关，例如处理与传输时延、能效、频谱效率、处理速率等。利用更多的资源进行数据处理，可以在牺牲成本（包括第三节‐C中的激励成本和第五节‐A中的部署成本）的情况下提升网络性能。通过将成本与性能的加权和视为奖励，可在HetMEC网络中实现成本与性能之间的权衡。此外，由于计算和传输资源有限，每个设备分配的资源不应超过该设备所拥有的总资源。当云中心选择违反此约束的动作时，奖励可设为负值，从而降低下一次迭代中选择相同动作的概率。

异构移动边缘计算网络的基于强化学习的框架分为七个步骤，具体如下。

• 步骤1 ：云中心观测系统状态，该状态由数据生成速度和信道状态信息决定。根据观测到的状态，云中心从动作空间中随机选择一个动作，用于任务卸载和资源分配。
• 步骤2 ：MEC服务器和终端设备根据所选动作执行数据处理和传输。
• 步骤3 : 云中心获得一个系统时延函数，即奖励，该奖励表示在当前状态下所选动作的质量。
• 步骤4 ：更新记录每个状态‐动作对的期望折扣奖励的Q‐表，其中每个期望折扣奖励是即时奖励和未来奖励的加权和。
• 步骤5 ：根据新的Q‐表更新用于获取动作的策略π，该动作可最大化当前状态下的期望折扣奖励，即策略π倾向于提高长期价值总和奖励。
• 步骤6 : 1) 以特定概率ε，云中心从动作空间中随机选择一个可用动作；2) 以概率1−ε，云中心根据策略π选择一个动作。
• 步骤7 : 重复步骤2‐6，直到网络收敛。

C. 基于强化学习的解决方案应对广泛的研究问题

鉴于所提出的用于异构移动边缘计算的基于强化学习的框架，以下将讨论针对广泛研究问题的解决方案。

1) 基于认知无线电的频谱接入 ：考虑到大量终端设备与有限频谱资源之间的矛盾，终端设备在实际中无法随时将数据卸载到接入点。认知无线电是解决频谱资源稀缺问题的一项有前景的技术。具体而言，一组次用户（即没有使用频谱许可的终端设备）可以感知主用户（即拥有使用频谱许可的终端设备）未占用的频谱，并以机会性方式与其共享，从而在避免对主用户造成干扰的同时实现次用户的最大吞吐量。

为了在动态网络环境中设计最优的频谱共享方案，可以扩展所提出的基于强化学习的框架，通过学习主用户的行为并跟踪频谱占用情况，从而最大化长期奖励。一组表示主用户的未占用频谱是否可被利用的指标被视为环境状态的一个组成部分，而未占用频谱的分配决策则被添加到动作空间中。此外，为了利用低干扰的优势，次用户对主用户产生的干扰表达式可以作为奖励函数的一项。

2) 定价机制设计 ：异构移动边缘计算的主要思想是利用终端设备和MEC服务器的可用计算和传输资源来支持低延迟服务。然而，除非终端设备和MEC服务器能够获得充分的奖励以补偿其计算和传输资源消耗[24]，否则它们不愿意执行计算任务。因此，设计一种高效的定价方案以激励MEC服务器和终端设备参与至关重要，从而在激励成本与性能提升之间实现权衡。

基于所提出的框架，每个设备为计算/传输资源支付的价格应包含在动作空间中。只有当某个设备支付的价格超过预设阈值时，该设备才会执行任务处理，该阈值表示计算和传输资源的消耗水平。由终端设备和MEC服务器根据价格调整的阈值集合应作为环境状态的一个组成部分。为了平衡激励成本与系统性能，将二者加权和作为奖励，其中前者作为惩罚项。

3) 网络拥塞控制 ：由于数据生成速度会因不同应用而异，因此极有可能当终端设备上的数据生成速度超过某一阈值时，无法实时处理的数据将在设备的缓冲区4中累积，最终导致系统拥塞。如果无论系统如何调整其计算和传输资源分配或任务卸载方案，至少有一个设备的缓冲区中数据将持续累积，则我们认为系统处于拥塞状态。在不同状态（非拥塞或拥塞）下定义并最小化系统时延至关重要。

• 非拥塞状态下的系统时延 ：在非拥塞状态下，我们将终端设备每单位时间生成的所有任务的总延迟视为系统时延。如第二节‐C所述，在异构移动边缘计算网络（N=1）中，终端设备每单位时间产生的数据需经过五个阶段完成处理，系统时延可计算为上述五个阶段的处理/传输时间之和。
• 拥塞状态下的系统时延 ：在拥塞状态下，我们旨在从整个网络的角度最小化清空缓冲区所需的时间。根据木桶理论[27],，五个阶段中最长的时段是网络从拥塞状态恢复的瓶颈，该时段被视为拥塞状态的系统时延。

4) 潜在使能技术 ：对于异构移动边缘计算（HetMEC）网络，存在一些可用来提升系统性能的潜在使能技术。典型的技术包括软件定义网络（SDN）、网络功能虚拟化（NFV）、无线功率传输（WPT）、信息中心网络（ICN）、动态频率和电压调节（DVFS）。表I总结了上述所有技术在支持不同类型服务方面的适用性。

IV. 性能评估

在本节中，我们将异构移动边缘计算网络的系统时延和处理速率与现有方法（包括本地计算、云计算[5], MEC[6], 和JCORA5 [9]）进行比较。

A. 参数设置

我们假设终端设备在1秒的时间内传输大小为60千比特的文件，并且处理每个原始数据比特需要一个CPU周期。原始数据处理后的压缩比设置为10%。计算能力由每秒最大CPU周期数表示，传输资源通过传输带宽反映。为了模拟各层之间计算和传输能力的差异，每个终端设备、接入点、交换机和云中心的计算资源分别限制为0.12百万周期每秒（Mcps）、0.4 Mcps、1.5 Mcps和12兆比特每秒。每个接入点、交换机和云中心的传输资源分别限制为1.2 兆比特每秒、3 兆比特每秒和12 兆比特每秒。更多技术细节可参见我们的期刊论文[28]。

B. 网络性能评估

图5(a)和图5(b)分别展示了不同网络中系统时延和处理速率随数据生成速度的变化情况。如图5(a)所示，随着数据生成速度的增加，所有网络的系统时延均有所上升，因为在需要处理的数据量增多，导致系统时延增大。在不同的数据生成速度下，异构移动边缘计算网络的系统时延始终保持最低，体现了异构移动边缘计算网络的优势。类似地，如图5(b)所示，HetMEC实现了相对较高的处理速率，尤其是在数据生成速度较大的情况下。随着数据生成速度的增加，当数据生成速度超过各自的阈值时，各网络达到饱和点，反映出网络处理速率的瓶颈。达到瓶颈后，网络无法为新生成的数据提供更多的计算资源，处理速率停止增长。由于HetMEC联合利用了整个网络的计算和传输资源，因此实现了最高的处理速率饱和点。

与异构移动边缘计算（N=1）网络相比，在相同数据生成速度下，由于异构移动边缘计算（N=2）网络中计算和传输资源更为丰富，异构移动边缘计算（N=2）网络的系统时延更低（或处理速率更高）。通过在异构移动边缘计算网络中联合利用不同层的计算和传输资源，并在各层之间合理卸载计算任务，随着层数增加，更多资源被投入使用，从而实现更低的系统时延和更高的处理速率。

V. 进一步工作与开放性问题

作为一种有效充分利用资源的网络，异构移动边缘计算展现出降低系统时延的潜力并提升系统性能。然而，仍有一些开放性问题需要仔细解决，这可能会推动进一步的发明和研究。首先，考虑网络规划与优化。针对此类网络，需要研究包括信息交换方案和通信方案设计在内的网络控制。最后，考虑到需要支持具有不同特性的各种应用和用户需求，讨论了若干潜在的关键研究方向和可能的解决方案。

A. 异构移动边缘计算的网络规划与优化

异构移动边缘计算的效率在很大程度上依赖于其网络规划与优化[29],，这需要考虑服务器部署等多个方面。实际设计中的挑战和开放性问题，包括MEC服务器的部署、层数和密度，应进一步予以考虑。

1) MEC服务器的部署 ：MEC的主要动机是在靠近终端设备的位置提供计算服务，以减少传输延迟并缓解核心网络的巨大压力。然而，MEC服务器在网络中的具体部署位置并未明确规定。具体而言，MEC服务器可以从底层到上层在终端设备与云中心之间的任意位置进行部署，包括接入点、交换机、网络网关以及小型数据中心。通过在最靠近终端设备的接入点部署MEC服务器，可以显著降低传输延迟；但由于单个接入点覆盖范围有限，可能导致需要部署大量MEC服务器，从而带来较高的部署成本。相反，在上层设备上部署MEC服务器虽然可以节省部署成本，但可能增加传输延迟。因此，有必要在部署成本与以延迟衡量的服务质量（QoS）之间找到一种权衡。

此外，与传统基站（BSs）的部署不同，MEC服务器的最优部署与计算资源供给相互耦合，使其更具挑战性。

2) 边缘计算服务器层数 ：与传统MEC网络不同，异构移动边缘计算支持多层MEC服务器协同进行数据处理。直观上，当更多MEC服务器层带来更多的计算和传输资源时，网络能够处理更多的数据。然而，当MEC服务器层数增加到某一数值后，由于资源过剩、复杂拓扑等原因，性能将不再提升甚至下降。此外，随着MEC服务器层数的增加，注册和方案广播的成本也随之增大，且与设备数量成正比。因此，确定最佳边缘计算层数以平衡网络性能和成本至关重要。

3) 边缘计算服务器密度 ：确定满足服务需求所需的服务器密度至关重要，这与基础设施部署成本密切相关。显然，MEC服务器的密集分布既能带来高质量的体验（QoE），也会导致高部署成本。当MEC服务器部署过于密集时，会导致计算资源过剩，并因维持空闲MEC服务器运行而产生不必要的能耗。此外，异构移动边缘计算在不同层上包含不同类型的MEC服务器，这些服务器提供不同级别的计算能力，并带来不同的部署成本。因此，在给定的部署预算和计算需求统计下，应充分考虑不同类型MEC服务器的数量及其最优组合。

B. 异构多接入边缘计算的网络控制

异构移动边缘计算（HetMEC）实现了终端设备、多层MEC服务器和云中心之间的协作，以同时提供大量计算服务。然而，随着网络规模的扩大，网络控制方面出现了需要解决的新问题，如下所列。

1) 信息交换方案设计 ：为了协调异构移动边缘计算中部署在多层的设备网络中，相邻层需要定期交换状态信息，例如资源利用率、计算需求统计、网络拥塞等。然而，信息交换不可避免地会占用传输通道，带来额外延迟，并可能降低延迟性能。因此，应设计一种高效方案，以最小化在信息内容和交换周期感知下的信息交换量。

一种潜在的解决方案是考虑在异构移动边缘计算（HetMEC）中采用物理层网络编码（PNC）[30]来辅助用户对之间的信息交换。具体而言，PNC可通过数字混合（即异或）操作，在中继处将两个输入信号合并为一个输出信号，从而减少信道资源的使用，并能够通过执行类似操作恢复原始信息。此外，还需考虑同一层上的设备之间是否需要以及需要交换何种信息。

2) 通信方案设计 ：针对不同的任务卸载机制方式，云中心发起的异构多接入边缘计算由云中心以集中式方式进行控制，而边缘发起的异构移动边缘计算则由终端设备分布式地控制，从而导致不同的通信方案设计。

• 单云集中式异构移动边缘计算 ：作为异构移动边缘计算网络的中心控制器，顶层的云中心可以收集全局信息并做出最优决策。然而，终端设备和MEC服务器需要为每个数据包向远程云中心发送资源请求消息，从而导致需要考虑的额外延迟。
• 多边缘设备分布式异构移动边缘计算 ：对于边缘发起的异构移动边缘计算，终端设备以分布式方式做出决策。传统上，终端设备之间通过上层的MEC服务器传输数据以实现相互通信[31]。在密集网络中，多次传输可能导致大量资源浪费，尤其是在使用昂贵的授权频谱时。设备到设备（D2D）通信[32]可通过靠近的终端设备直接通信，绕过上层的MEC服务器，从而显著降低端到端延迟，但诸如干扰等若干限制需得到充分解决。
• 多云分布式异构移动边缘计算 ：由于中心控制器在服务类型、资源、存储、计算成本等方面的多样性，各类服务提供商倾向于将应用部署在不同的云中心[33]，而非单一的云中心。因此，有必要研究每个云中心对应一个独立服务提供商的多中心控制器场景。与由多个终端设备分布式控制的异构移动边缘计算不同，该场景中不存在上层设备来协助多个独立云中心之间的通信，从而导致各云中心之间为争夺终端设备和MEC服务器的计算和传输资源而产生竞争。具体而言，每个云中心都试图通过占用尽可能多的MEC服务器和终端设备资源来提升自身任务的性能（如任务延迟）。因此，有必要设计一种高效的分布式机制来描述云中心之间的竞争关系。

C. HetMEC的应用特定问题

各种应用通常带来不同的问题，并需要不同的解决方案。接下来，我们介绍异构移动边缘计算网络的三类潜在应用，并讨论其中的关键研究问题和可能的解决方案。

1) 感知移动性的应用 ：如图6所示，随着车辆网络的发展，越来越多的智能交通应用被部署在智能车辆上[34],，例如主动驾驶安全辅助、智能停车、道路交通监控和自动管理[35],[36]。这些应用对低延迟数据处理的需求给智能车辆带来了巨大挑战。异构移动边缘计算网络可以成为车辆网络的理想选择，通过整个网络计算资源的协同，有效降低响应时间。

然而，这些感知移动性应用中边缘设备（车辆）的移动性带来了重大挑战。

• 频繁小区切换 ：如果计算任务的完成需要相对较长的时间，终端设备在任务处理期间可能会经过多个MEC服务器。在这种情况下，处理结果需要从已完成任务的MEC服务器传输到终端设备新接入的另一个MEC服务器。由于不同的网络配置和边缘设备‐移动边缘计算关联，小覆盖范围移动边缘计算服务器之间的频繁切换极为复杂，并可能导致干扰和延迟增加。
• 频繁的拓扑变化 ：在车辆网络中，车辆可以通过多种方式接入与MEC服务器相连的路侧单元（RSU），例如V2I模式和V2V模式。由车辆移动性引起的动态拓扑变化使得任务卸载变得复杂。为了提高数据处理效率，迫切需要设计一种具有资源共享和服务器协作的最优任务卸载方案，以提升资源利用率，特别是为高速车辆提供更多资源，但该方案受限于MEC服务器之间有限且困难的通信。

此外，在静态MEC服务器（例如基站、接入点）发生故障的场景下，如灾害响应、应急救援和军事攻击，具有高效轨迹设计的可移动的移动边缘计算服务器可以为终端设备[37]提供紧急计算服务。

2) 多媒体相关应用 ：随着对多媒体内容需求的不断增加，一些高度集中且受欢迎的内容将被多媒体相关应用异步且重复地请求，例如导航、视频流、虚拟现实等。如图7所示，支持缓存的HetMEC可通过在终端设备、MEC服务器和云中心缓存这些内容，减少相同内容的频繁复制，从而处理来自多个终端设备的卸载计算任务[8]。为了在HetMEC网络中利用缓存技术，以下方面被应用于任务卸载方案设计中。

• 缓存放置 ：在上层设备进行缓存可以获得更高的缓存命中概率（用户请求的内容已在异构移动边缘计算网络中缓存的概率），因为上层设备具有更大的覆盖区域并能服务更多的设备。然而，由于从上层到下层的传播距离较长，通常会导致较低的数据速率。因此，应仔细选择缓存位置，以在命中概率和数据速率之间实现权衡。
• 内容描述 ：为了决定在HetMEC网络中缓存哪些内容，应考虑内容的流行度，以最大化缓存的命中概率。该流行度可被视为静态的，并采用独立参考模型，其中内容请求根据独立的泊松过程生成。为了反映更一般的情况，即内容流行度随时间变化且事先未知，应基于机器学习技术进一步研究内容流行的动态跟踪与估计。
• 存储资源分配 ：每个设备（边缘设备、MEC服务器或云中心）都拥有一定的存储资源，以支持HetMEC网络中的缓存服务。因此，应设计一种高效方案来分配这些存储资源。此外，由于存储资源在物理上分布在网络中，且缓存请求来自地理上分散的节点，因此应充分考虑设备间的协作。

3) 大规模连接应用 ：在物联网（IoT）快速发展的推动下，大量终端设备将连接到6G无线通信网络中第N层的MEC服务器，以支持环境感知、医疗保健、事件检测等多种应用。每个MEC服务器所连接的设备数量可能达到10^4至10^6[38]的数量级。

为了支持大规模连接，RIS可能是一种潜在的解决方案，它通过控制多个单元的电磁响应来塑造传播环境，并通过执行波束成形[39]支持多用户接入。如图8所示，RIS是由多个嵌入式RIS单元构成的表面，这些RIS单元由电磁材料制成。这些RIS单元可以以不同方式转换电磁射线，其电磁响应（例如相位偏移）可通过简单的可编程PIN二极管进行控制，从而将信号从MEC服务器反射至终端设备。这种对每个RIS单元的电磁响应控制实际上等同于模拟波束成形，可用于实现大规模连接。

VI. 结论

在本文中，我们研究了一种由中心控制器层、多个多接入边缘计算服务器层和边缘设备层组成的异构移动边缘计算网络，以充分利用整个网络中的计算和传输资源。随后提出了一种基于强化学习的异构移动边缘计算框架，用于优化任务卸载和资源分配，并涵盖了包括基于协作式无线电的广泛问题与解决方案讨论了频谱接入、定价机制设计和网络拥塞控制。一个数值示例表明，与传统网络相比，它可以高效地降低系统时延并提高处理速率。

对于未来的研究，异构移动边缘计算的网络规划与优化可以在MEC服务器的部署、层数以及密度感知方面进一步改进。鉴于其异构特性，潜在的研究方向包括用于网络控制的信息交换方案和通信方案设计。为了支持多样化应用，频繁的小区切换和拓扑变化可能成为高移动性应用的关键研究问题；异构移动边缘计算还可扩展至支持缓存的场景，以满足多媒体相关应用对频繁请求相同内容的需求；此外，基于可重构智能表面，异构移动边缘计算有望满足大规模连接的需求。