带容量约束的边缘服务器部署算法

最新推荐文章于 2026-01-09 09:59:08 发布

原创最新推荐文章于 2026-01-09 09:59:08 发布 · 1k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#边缘计算 # 容量约束 # 设施选址 # 聚类 # k-中心点

并行与分布式计算杂志153（2021）130–149

目录列表提供于ScienceDirectJ. ParallelDistrib. Comput.期刊主页： www.elsevier.com/locate/jpdc

边缘计算带容量约束的边缘计算服务器部署 n

特罗·拉赫德拉塔 a,∗,特穆·莱帕宁 b,1,莉娜·鲁哈 a,d,1,劳里·洛文 b,1,埃尔基·哈尔尤拉 c,米卡·伊利亚蒂拉 c,尤卡·里基 b,米科·J·西兰帕 a
a数学科学研究中心，奥卢大学，芬兰b泛在计算中心，奥卢大学，芬兰c 无线通信中心，奥卢大学，芬兰d芬兰自然资源研究所，芬兰科拉，芬兰

articleinfo

文章历史 ：2020年4月16日收到2021年2月 11日修订版收到2021年3月17日接受2021年 4月6日在线发布
关键词 ：多接入边缘计算设施选址聚类k‐中心点

摘要

边缘计算基础设施的部署需要仔细规划边缘服务器的位置，旨在改善应用延迟并减少机会型物联网系统中的数据传输负载。在边缘服务器部署过程中，必须考虑边缘服务器的计算容量、可用部署预算和硬件需求，以及底层骨干网络拓扑结构。本文全面综述了边缘服务器部署领域的现有文献，识别出研究空白，并提出了一组需考虑的广泛参数。随后，我们开发了一种名为PACK的新型算法，将服务器部署建模为有容量限制的选址分配问题。PACK在考虑容量约束以实现负载均衡并支持服务器间工作负载共享的同时，最小化服务器与其关联接入点之间的距离。此外，PACK还考虑了优先位置和可靠性等实际问题。我们在两种不同场景下对算法进行了评估：一种是针对一般边缘计算的高容量服务器场景，另一种是面向雾计算的低容量服务器场景。评估使用在一个真实网络中收集的数据集进行，该数据集涵盖城市区域中接入点的密集和稀疏部署。最终得到的算法及相关工具已作为开源软件公开发布。
©2021文章作者。由ElsevierInc.出版。这是一篇根据CCBY许可（ http://creativecommons.org/licenses/by/4.0/）发布的开放获取文章。

1. 引言

边缘计算已成为一种可扩展且灵活的解决方案，用于应对以云为中心的物联网（IoT）系统[59]所带来的挑战。云在物理和逻辑上远离设备，需要大量上传上游数据，消耗核心网络资源并引入延迟。此外，在快速变化的机遇性物联网环境中，远程的系统监控与控制极具挑战性。
边缘计算在网络基础设施的顶层引入了新的计算层，位于云端和物联网设备之间，使得虚拟化应用资源可以被迁移至此。边缘平台靠近设备，能够应对环境的动态变化，并以低延迟和高带宽为本地计算密集型和数据密集型应用程序提供服务。此外，在边缘层进行数据处理可提高数据隐私性，并减轻通往云端的网络负载。

此类边缘平台已经出现[6,15,59]。（i）云朵[46],，即小型数据中心，在边缘层以虚拟机形式托管移动应用程序；（ii）多接入边缘计算（MEC）[45], ，此前称为移动边缘计算，重用蜂窝网络基站和Wi‐Fi接入点（AP）等网络基础设施组件，用于数据存储和托管移动应用程序；（iii）雾计算[7]利用本地联网设备，例如Wi‐Fi接入点、网关，以及笔记本电脑和机顶盒，构建虚拟化的分层计算平台。
然而，边缘计算中的资源供应带来了实际的复杂性。例如，网络运营商需要考虑服务器等物理边缘平台组件的部署位置。通常，受限的部署预算会导致服务器数量有限，且容量和硬件各不相同。一种选择是在整个部署区域共享服务器和网络资源，但这样做的权衡是会引入延迟并增加网络负载。此外，某些地点（例如商业中心或研究设施）可能比其他地点具有更高的部署优先级。最后，部署区域可能不仅涵盖市中心等人流密集地区，还包括人口稀少的郊区。如果没有系统性方法，解决这些实际问题的唯一途径就是依赖网络运营商的领域专业知识。

示意图0

在确定了初始服务器部署方案后，接下来的挑战是如何在部署中对边缘应用程序工作负载进行在线分配与负载均衡。这两个相互关联的问题通常分步骤处理，即在初始服务器部署方案的基础上进行工作负载的分配与平衡，例如[25,55]。服务器部署的参数通常源自观测到的在线工作负载。一些研究也仅专注于优化在线工作负载，例如 [38,43,47,56,61]。在这种情况下，底层系统的设计是一个重要因素，因为最初选定的部署方案会影响系统在应对在线工作负载和延迟时的性能[51]。因此，初始部署决策对于在多租户边缘平台上管理移动应用程序、为边缘平台提供高质量的服务质量（QoS）以及为移动用户提升体验质量（QoE）至关重要。
一种旨在实现最大在线QoS和QoE的边缘服务器部署方案，涉及两个相互关联的问题：首先是边缘服务器的部署，其次是根据预期工作负载向这些服务器分配计算容量（图1）。本文致力于对这两个问题进行最优求解。首先，我们调研了现有的物理边缘服务器部署与分配方案，并指出了这些方案中存在的已识别的差距；其次，基于这些已识别的差距，我们提出了一种新颖的部署与分配算法——PACK，该算法综合考虑了多种参数，包括延迟、工作负载均衡与共享、服务器与AP节点共置以及优先位置。由此产生的部署方案能够处理系统中观测到的最大工作负载，同时实现接入点与边缘服务器之间的最小延迟，以及边缘服务器之间的工作负载平衡。这些部署因此确保了整个部署范围内的公平QoS，并合理分配应用工作负载，使服务器容量得到遵守，且过配置或不足配置达到最小化。为了提高部署的灵活性，接入点的工作负载可以在多个服务器之间共享，从而解决低容量服务器过载的问题。最后，该算法允许优先选择某些服务器位置，并提供预留计算容量，作为边缘应用执行的可靠性措施。
这些考虑因素导致了一个NP难的复杂优化问题，该问题旨在寻找延迟和工作负载均衡之间的最佳折衷方案。我们将此部署问题视为通用位置‐分配框架[18]的一个实例。我们针对多接入边缘计算和雾计算边缘平台分别采用高容量和低容量服务器对框架进行调整，并通过一组性能统计指标评估所得的部署方案。这些方案基于一个真实世界的公共Wi‐Fi网络数据集[29]开发，该数据集包含城市和郊区中用户设备（UE）的连接信息。
本文的贡献如下：
• 对现有物理边缘服务器部署方案的详细调查。收集了一整套必要的参数，并确定了服务器部署优化中的已识别的差距。
一种基于系统总工作负载和服务器数量的选址分配算法，通过 AP聚类实现最优的边缘服务器部署，以最小化系统内的地理空间距离，同时考虑服务器容量约束、工作负载均衡与共享、预留容量以及位置偏好。这些附加约束条件体现了边缘部署规划中面临的真实世界挑战和选择，我们将其视为关键边缘基础设施的一部分。
• 一项关于不同边缘部署情景（即多接入边缘计算和雾）与上述参数集相关性的研究，其中包含一组o f proximitystatistics，用于评估所提出算法与先前工作中解决方案之间的服务质量。
基于大规模真实世界数据集（∼257M个数据点）的城市范围公共 Wi‐Fi网络中的密集和稀疏AP部署，对覆盖整个城市区域的部署算法进行开发与评估。
• 一个用R语言实现的开源软件包，2该算法。
本文其余部分组织如下。在第2节中，我们介绍并讨论边缘服务器部署的最新研究进展，以及研究中存在的空白。在第3节中，我们提出算法，并在第4节中进行评估。我们在不同场景下使用现实世界数据集，并将结果与基于先前工作的方案进行比较。最后，在第5节中讨论结果，在第6节中给出结论。

2. 背景

以往的研究从四个角度来解决边缘服务器部署问题：（1）最小化延迟，延迟通过多种不同的距离度量进行近似；（2）在限制最大延迟的同时最小化服务器的部署成本；（3）优化延迟与部署成本之间的权衡；或（4）在类群内最大化用户连接，即覆盖范围。这些研究考虑了部署中不同的功能参数集合，例如服务器数量、单个服务器容量、服务器地理位置以及位置优先级。此外，服务质量（QoS）和用户体验质量（QoE）等非功能性属性（如可靠性）也被用作所研究部署算法中的参数。
这些研究采用了不同的部署方法：K均值聚类[34], 结合混合整数二次规划的K均值聚类[21], 基于密度的聚类[23], 图论方法，如最小支配集问题[60], 分层树状结构[24,49], 多目标约束优化[5,14,53], 混合整数线性规划[9,17], 带有启发式解法的整数线性规划[31,54,57],非线性

2 https://github.com/terolahderanta/rpack.

表1 边缘服务器部署算法的总体特性比较

文章	工作负载	容量	约束	距离	测量的作用	距离数量
Bhattaetal.[5]	工作负载	上层	网络拓扑	阈值与最小化	最小化	hard
布埃等人[9]	电话通话	上层	地理空间	未使用	按需	hard
Chenetal.[11]	模拟的	上层	网络拓扑	阈值和最小	固定	请求
崔等人[13]	请求总数	未使用	地理空间	阈值化的	固定	hard
道斯树瓦等人[14]	时间序列	阈值	地理空间	未直接使用	按需	请求
范等人[17]	请求	上层	网络拓扑	最小化	按需	分数的
盖德昂等人[19]	模拟的	上层	网络拓扑	阈值化的	固定	请求
关等人[20]	peak	阈值	地理空间	最小化	按需	hard
郭等人[21]	总请求数	平衡	网络拓扑	最小化	固定	hard
贾等人[23]	请求速率	平衡	网络拓扑	阈值化的	固定	hard
Jiao等人[24]	工作负载	未使用	网络拓扑	最小化	固定	hard
Kang等人[25]	总请求数	未使用	地理空间	最小化	固定	请求
莱瓦‐普波等人[31]	模拟的	上层	地理空间	阈值和最小值	按需	重复
Lietal.[33]	模拟的	上层	网络拓扑	最小化	固定	请求
Lietal.[32]	总连接时间	上层	地理空间	阈值化的	按需	hard
Liuetal.[34]	未使用	未使用	地理空间	最小化	固定	hard
马等人[37]	请求速率	上层与平衡	网络拓扑	最小化	固定	请求
Mengetal.[39]	总请求数	上层	网络拓扑	最小化	固定	请求
Mohan等人[40]	平均请求数	未使用	网络拓扑	阈值化的	最小化	hard
Mondal等人[41]	请求速率	上层	网络拓扑	阈值化的	最小化	hard
Sinky等人[49]	总请求数	未使用	网络拓扑	最小化	固定	hard
王等人[53]	总请求数	平衡	地理空间	最小化	固定	hard
Xuetal.[54]	请求总数	上层	网络拓扑	最小化	固定	请求
姚等人[57]	总请求数	上层	网络拓扑	最小化	按需	请求
尹等人[58]	peak	上层	地理空间	阈值化的	按需	hard
Zeng等人[60]	工作负载	上层	网络拓扑	阈值化的	最小化	hard
本文	peak	上下	地理空间	最小化	固定	硬性或分数.

相比之下，PACK在固定数量的服务器上部署，同时最小化用户与边缘服务器之间的延迟，平衡系统工作负载，并满足服务器容量的下界约束和上界约束。PACK可视为一种带容量约束的k‐均值类型聚类问题，本文中通过结合整数规划步骤的块坐标下降算法进行求解。

2.1. 边缘服务器部署方法综述 s

接下来，我们将详细综述现有的物理边缘服务器部署解决方案，并分析这些算法中所使用的参数集。此外，我们讨论了第3节中提出的新型部署算法PACK的特性，以解决已识别的不足之处。这些解决方案的整体特性总结于表1。

2.1.1. 工作负载

工作负载指的是边缘服务器部署后，由在线用户请求所产生的预期计算负担。大多数被调研的研究将历史工作负载的总量、平均值和/ 或最坏情况视为预期工作负载的代理指标。这些工作负载从用户请求数据中以不同精细度进行推导或估算，考虑因素例如单个用户请求的不同处理负担、总连接时间、电话通话持续时间、接入点的请求速率，或接入点的总请求数量。最坏情况预期工作负载通过历史数据中同时连接用户的最大值来估计[20,58]。
PACK通过为每个接入点设置权重来考虑工作负载，以反映通过该接入点在边缘服务器上预期累积的工作负载。接入点的权重越高，其在放置决策中的影响越大。每个接入点的权重值选择不受限制；例如，可以使用历史峰值负载或平均负载值。
接入点的数量，或其请求速率，可能需用趋势系数进行缩放。
在我们的示例中，我们使用峰值负载（即历史数据中每个接入点的最大连接用户数）作为权重。通过将峰值负载作为权重值，我们能够在最坏情况下（例如偶发的高峰时段）确保足够的服务器容量。

2.1.2. 计算容量

计算 i边缘计算容量 i ty指的是单个边缘服务器可用于处理来自接入点的工作负载累积的计算和数据资源。确定容量时需要在工作负载平衡与低延迟之间进行权衡。事实上，为了最小化接入点与边缘服务器之间的延迟，部署结果可能导致繁忙区域的工作负载较高，而安静区域的工作负载较低，从而造成容量未被使用或边缘服务器容量不均。相反，若将工作负载均匀分布在各个边缘服务器上以实现负载均衡，则可能导致接入点与边缘服务器之间的距离较远，进而导致延迟增加。
在相关研究中，当预定义数量的服务器被部署时，通常忽略了容量限制、工作负载均衡或两者。然而，在一些研究中，服务器具有不同的容量。更具体地说，大多数研究通过在服务器工作负载上设置严格的上界约束来禁止过度配置，以此解决计算容量问题。另一种方法是通过在部署中分配工作负载来实现工作负载均衡[21,23,53],；服务器容量按需扩展，而不管由此产生的集群规模[34,40,49,57,60],；或利用邻近服务器容量作为备用或重复容量[11,31]。作为一种通用解决方案，如果服务器容量无法匹配其工作负载，则剩余负载将被丢弃或卸载到云[9,14,23,39–41],，其中假设资源是无限的。
另一种替代方案是云粒技术，它可以通过扩展服务器容量作为备用措施，以适应在线工作负载的变化[14,39,41]。然而，仍需要进行初始的云粒部署，而额外容量会增加运营商的部署和维护成本。一种相关解决方案是在已有部署的基础上增补新的服务器，以支持已部署的服务器[35]。
服务器部署方案大多考虑了人口密集的中心区域（例如 [13,17,19,23,40,53]），但一些研究也包含了郊区（例如 [17,23,31,40,41,58]）。当基础设施在繁忙的中心区域与较不繁忙的郊区之间存在较大差异时，容量与延迟问题之间的权衡会更加突出。
PACK支持最小化延迟以及平衡工作负载，并通过应用服务器容量的上限和下限约束来确保足够的服务器容量。同时使用上下限约束可以对延迟‐工作负载权衡进行有效控制。例如，在优先考虑平衡的情况下，可将容量限制设置为接近平均工作负载的数值；或者，在容量限制范围足够宽时，下限可表示一台小型服务器的容量，而上限可表示一台大型服务器的容量。
此外，云朵可以基于多个低容量服务器构建。因此，较宽的区间允许在工作负载变化较大的部署区域具有更高的灵活性，并在单个服务器容量上实现更精细的控制。

2.1.3. 性能指标

The每 f性能o f 通常通过一组服务质量（QoS）和用户体验质量（QoE）参数来测量边缘服务器或部署。欧洲电信标准协会（ETSI）的标准化考虑了多种指标，用于展示具有功能性与非功能性关键性能指标（KPI）集合的部署性能[16],，其中指标的使用取决于具体用例。功能性指标包括延迟、吞吐量、数据包传输和能效。非功能性指标包括服务可用性、可靠性和容错性。
大多数研究通过服务器与用户和/或接入点之间的延迟来测量性能，采用了不同的方法。首先，如果部署的服务器数量固定，则使用接入点与服务器之间的平均延迟或总延迟[11,13,21,23, 24,33,34,37,49,53,54,57]。此外，使用各服务器工作负载的标准差来评估负载均衡[21,53]。其次，如果目标是最小化服务器数量或其能耗，则在延迟阈值约束下进行最小化[32,40,41,60]。
其他研究中的性能测量同时考虑了用户体验质量（QoE）和服务质量（QoS）方面，包括满足的用户请求百分比和服务器容量利用率 [40],、在预期距离内的用户百分比[58],、部署的得分和成本[31], 、集群内流量[40],、能耗和平均资源利用率[32], ，以及用户需求可分配到云朵的比例[14,19]。
调研的研究评估了各种参数对服务质量的影响。首先，评估了服务器数量对延迟[21,23,24,34,49,53,54],、工作负载均衡[21,53]以及托管工作负载[14]的影响。其次，评估了容量约束对集群内流量的影响，时间变化对工作负载均衡[9],的影响，以及接入点数量对平均接入延迟[54]、能耗和平均资源利用率[32]的影响。第三，评估了其他参数与部署预算之间的关联，包括距离阈值[20,32,60]或容量约束[9,19,60]对服务器数量的影响。此外，尹等人[58]将部署成本建模为在给定距离内覆盖人群比例的函数，而盖德昂等人[19]则考虑了部署边缘服务器的固定成本以及根据工作负载产生的可变成本。
最后，Fan等人评估了部署成本和延迟随控制预算与proximity之间权衡的参数的变化情况[17]。
总之，所调查的文章通常以以下两种方式之一来测量部署性能：(1) 平均服务质量，或(2)通过为最差可容忍的服务质量设置阈值。然而，我们的方法是使用多个同时进行的性能测量，从而更清晰地展示最终的用户体验质量和服务质量。具体而言，我们测量接入点与服务器之间的平均延迟和最坏情况延迟，以了解整个部署覆盖范围内的用户体验质量。此外，我们还测量边缘服务器上的相应工作负载，以评估最终部署的服务质量。

2.1.4. 延迟

接入点与边缘服务器之间的通信延迟是主要的关键绩效指标之一。在边缘基础设施中，延迟通常发生在城域网内，其产生原因包括核心网络的架构，即拓扑结构以及节点之间的链路容量。然而，在所有调研的研究中，核心网络拓扑或链路容量均不可获得。因此，延迟通过计算开销较小的代理方式进行估算，例如根据可获得的信息类型使用拓扑结构距离或地理物理距离。
采用模拟拓扑[11,17,21,23,24,37,39–41,49,54,57,60],延迟通过跳数进行近似，或根本未使用任何特定的延迟测量方法。另一种方法是使用接入点与边缘服务器之间的地理空间距离来近似延迟 [9,14,20,31–34,53,58]。然而，这要求坐标空间在距离排序上保持一致[58]。大多数研究使用了欧几里得距离，而部分研究[33,34]采用了平方欧几里得距离。此外，Wang等人根据接入点的密度对欧几里得距离进行了缩放，而Leyva‐Pupo等人[53]则在多个层级上对距离进行了离散化处理。
PACK对表示延迟的距离度量是无关的，这一点在第3.2节中有详细讨论。更具体地说，PACK接受任何可能的服务器位置与接入点之间的成对距离。
与所有被调研的研究一样，我们用于评估的数据[29]中没有底层物理网络拓扑结构。因此，在评估PACK时，我们使用接入点与服务器之间的地理空间距离来近似延迟。为了在整个部署中提供公平的服务质量，我们采用平方欧几里得距离，因为它们倾向于生成具有中心化簇头的球形簇[42]。使用平方距离会导致形成具有空间集中式服务器的星型拓扑结构，有助于改善整个部署中最坏情况下的接近性，即无论接入点在网络中的拓扑和物理位置如何，都能实现更低的延迟。

2.1.5. 边缘服务器数量

部署中的边缘服务器数量需要在成本（例如运营商预算和相应的可用服务器容量）与满足用户需求的性能之间进行权衡。
调研的研究主要依赖三种方法来优化权衡。首先，基于预算，以最小化接入点与服务器之间的延迟为目标，部署固定数量的服务器 [11,13,19,21,23,24,33,34,37,39,49,53,54]。其次，定义最高可容忍延迟，并在每个接入点满足该延迟约束的前提下最小化服务器数量 [40,41,57,60]。第三种方法是优化成本与用户体验质量之间的权衡，如满意用户数量[14,58],或部署结果的服务质量[5,11,17,20,31]。
其他方法包括将服务器数量确定为最小化能耗的结果[32]，或在服务器区域内最大化连接[9]。
除了上述权衡之外，还需要考虑部署区域。使用第4.1节中的全市范围的真实数据集时，一些部署不仅覆盖人口密集的中心区域，还覆盖人口稀少的郊区，两者都
对服务器容量有不同的要求。在这种部署中，由于在稀疏区域中服务器与接入点之间的距离差异显著，而在密集区域中距离仍然较短，因此在满足延迟约束的同时最小化服务器数量已不再可行。因此，这种放置方案可能导致大量服务器仅连接少量接入点。
考虑到网络运营商通常在严格的预算下运营，PACK与大多数已调研的研究一致，假设服务器数量固定。我们使用上述提到的覆盖密集区域和稀疏区域的城市级异构数据集对PACK进行评估。正如王等人[51], 所讨论的，必须考虑服务器的部署方案。事实上，当通信延迟可能相对较高时，扁平架构中的稀疏服务器更受青睐。然而，如果延迟必须很小且工作负载较大，则分层部署架构可以提升边缘系统性能。综合这两种观点，我们在两种不同场景下评估PACK，分别命名为多接入边缘计算（MEC）和雾（Fog），前者采用少量高容量服务器，后者采用大量低容量服务器。

2.1.6. 服务器与接入点的共置

当边缘服务器与接入点共址时，网络运营商的部署和维护成本更低，且无需新的基础设施。大多数被调查的研究都遵循了这一约束。作为例外，一些研究未考虑共址[9,34,58], ，而布埃等人考虑了空间服务器区域，但没有具体的服务器位置[9]。最后，刘等人[34]允许将服务器放置在任何位置，尹等人[58]则考虑了新的、可能无法预见的服务器位置。
PACK遵循大多数研究的做法，将边缘服务器与接入点共址部署。

2.1.7. 工作负载分配

源自用户请求的预期系统工作负载通过网络从接入点传播到边缘服务器。大多数调研的研究将经过各个接入点的工作负载分配给恰好一个服务器，但存在一些例外情况。布埃等人将部分AP未进行分配，即不关联边缘服务器，因为服务器的整体工作负载超过了其总容量[9]。 Jiao等人[24]在树形结构中部署了固定数量的服务器，导致一些接入点未被关联。在使用云朵的情况下，用户请求的工作负载被分发到部署范围内的可用云朵[11,14,19,25,33,37,39,54,57]。作为最后手段，过量的工作负载会被卸载至云端。道斯树瓦等人考虑了两种类型的工作负载：一种是只能在服务器中处理的严格型工作负载，另一种是既可在服务器也可在云端处理的灵活型工作负载[14]。
范等人[17],则在多个服务器之间共享接入点工作负载。具体而言，当服务器上的总工作负载超过其容量时，如果无法卸载到云，则必须在服务器之间共享工作负载。特别是在低容量服务器（例如笔记本电脑）广泛可用的情况下，这种做法尤为有利，正如雾计算所体现的：本地场所内的小规模本地用户请求可在本地处理。共享工作负载还能缓解延迟与工作负载均衡之间的权衡，并提高部署算法的可扩展性。然而，缺点是只要本地场所有可用的服务器容量，共享就会增加部署管理的复杂性，并加重核心网络负载。但这些研究并未同时考虑严格分配和工作负载共享的影响。
采用聚类术语，我们将工作负载共享称为分数成员关系，将非共享工作负载称为硬分配。PACK支持根据场景选择成员类型。因此，在放置时会考虑平面和分层架构[51],，例如满足不同延迟和工作负载需求的应用程序的多接入边缘计算和雾计算。

2.1.8. 位置偏好

根据网络运营商的商业模式或领域专业知识，城市中心和其他人口密集地区通常被首先考虑作为边缘服务器的位置。此外，领域专业知识和实际考量（例如，为保证到边缘服务器的低延迟）可能会指定一组优先位置，例如机场、商业中心或研究设施，即使这些位置在其他情况下无法得到合理证明。此外，在更小范围内，特定站点的需求（例如雾部署中的隐私问题）可能要求将服务器部署在特定设施内部。这类固定的部署候选位置可能导致部署性能次优，尤其是在预算有限的情况下。此外，由于实际限制，网络拓扑结构也可能限制服务器可部署的位置。在所调研的研究中，莱瓦‐普波等人针对接入点的特定站点延迟要求处理了位置偏好问题，并通过在优先接入点为服务器预留冗余容量来应对[31]。而姚等人则根据综合用户移动模式来部署一组服务器[57]。
PACK在放置和分配过程中考虑了首选边缘服务器位置，例如基于领域专业知识或实际问题。K均值类型聚类方法是权重敏感的，即具有较大权重的点比轻权重点更强地吸引聚类中心[1]。在我们的方法中，接入点的总权重为其工作负载与该接入点位置偏好值之和，从而使优先位置在放置过程中获得降低的延迟。因此，通过向最关键接入点的工作负载添加一个预定义常数，在算法层面支持位置偏好。该方法还允许使用多个偏好类别，甚至一个偏好变量，其中常数的大小取决于变量的取值。

2.1.9. 可靠性

一个可靠且稳健的系统能够按照设计要求长时间运行，并能抵抗和从故障中恢复。史等人[48]讨论了边缘基础设施的可靠性挑战，其中组件故障可能导致网络和服务中断。此外，用户移动性和间歇性连接使得提供服务并维持用户体验质量（QoE）变得具有挑战性。因此，系统级管理和故障恢复是一个关键问题。事实上，欧洲电信标准协会（ETSI）将可靠性视为边缘服务的非功能性关键绩效指标（ KPIs）之一[16]。
在已调查的研究中，莱瓦‐普波等人[31] 通过为每个接入点的服务器提供备用容量来解决工作负载分配中的可靠性问题。这样，如果服务器发生故障，可以立即启用替换设备。缺点是部署成本会增加，并且可能会保留未使用容量。
此外，崔等人[13] 通过优化边缘服务器部署，解决了边缘服务器网络中运行时故障的问题，该优化基于用户覆盖与网络鲁棒性之间的权衡。他们制定了一种部署策略，为用户覆盖和鲁棒性设置了权重参数，以表示这两个参数之间的偏好。
为了解决可靠性问题，PACK允许将接入点的工作负载复制并分配到任意数量（通常为两个）的服务器上，而不仅限于一个服务器。在考虑预算限制的情况下，可以针对每个接入点individually决定是否进行工作负载复制，仅选择那些被领域专家认为是关键网络基础设施的接入点。

2.1.10. 数据集

在部署算法的开发和评估中，使用了模拟的或真实世界的数据集。所有列出的数据集大约都有五年的历史，甚至包括在较新研究中使用的数据集。据我们所知，目前尚不存在大规模边缘计算基础设施的数据集。
多项研究使用了模拟的数据集[11,17,20,24,31,33, 37,41,57,60],，其中接入点数量从几十到数百不等。仿真有时基于其他数据，例如城市人口数据[5,23,49,54] 或基站、公共Wi‐Fi接入点和路灯的位置，以及用户移动跟踪数据[19]。
一些研究基于现实世界中的Wi‐Fi或移动网络数据集进行评估。 2013年11月至 2014[3]年1月期间意大利米兰的地理参考电话记录是最受欢迎的[9,14,34,40],，而上海电信的数据集（包含六个月内1万名移动用户在3000个基站的460万条呌诉记录和750万条移动跟踪记录）则紧随其后[21,32,53]。尹等人从全球分布的PlanetLab节点以及部署在中国的测量节点获取数据[58]。关等人利用了意大利罗马 320辆出租车一个月内的轨迹数据 2014[20]。
我们使用在芬兰奥卢市全城范围的开放式Wi‐Fi网络部署中收集的现实世界数据集来评估PACK。该数据集包含450个Wi‐Fi接入点，部署于城市中心及郊区，以及2014年期间所有连接用户（∼257M个数据点）。该数据集在第4.1节中有详细描述。

2.1.11. 算法可扩展性

算法可扩展性指的是算法的运行时间如何依赖于数据。通常情况下，算法提供的结果越好，其可扩展性越差。一些研究提出了具有良好可扩展性的启发式算法[11,37,54,58],，但对结果最优性没有保证。大多数研究依赖于形式化优化方法，这些方法虽然更复杂，但能保证结果至少是局部最优的。例外的是，马等人提出使用粒子群优化来解决最初为启发式算法[37]的可扩展性问题。
对于形式化优化方法而言，优化中的约束越少，用户控制力越弱，但算法的可扩展性越好。最简单的优化方法没有容量约束[25,34,49],，虽然具有可扩展性，但控制力最弱。包含优化约束的研究通过迭代方法提高了可扩展性，该方法在迭代优化算法中交替进行位置与分配步骤。Leyva‐Pupo等人[31]针对大规模数据集，采用混合模拟退火和进化算法的变体，在容量约束下交替优化部署与分配。
一些研究首先将接入点的工作负载划分为簇，而不施加容量约束，然后分别在每个簇中放置服务器[40,58]。另一种方法是先放置服务器，不进行工作负载平衡，再将接入点分配给服务器以实现工作负载的平衡[21,23]。此外，郭等人[21]在平衡分配步骤中使用了二次优化，从而减少了计算时间，但由于所有数据一次性分配而消耗较多内存。贾等人采用混合模型，在平衡分配步骤中使用了一种快速但基于启发式的方法[23]。同样，关等人采用两步法，首先根据最小化服务迁移成本对区域进行划分，然后分别优化服务器的位置和接入点的分配[20]。
布埃等人[9]在指定区域内设置了一个密集网格，然后根据各网格单元的工作负载将其合并，以获得服务器的空间范围。因此，计算时间取决于网格单元的数量，而不是接入点的数量。因此，该方法在接入点数量方面具有良好的可扩展性，但在空间范围方面则不然。
PACK依赖于形式化优化，我们通过结合整数规划步骤的块坐标下降算法提高了方法的可扩展性。存在局部最优的风险通过使用大量初始值重复优化，降低了问题的复杂性。我们还允许分数成员关系，从而提高了可扩展性。我们方法的可扩展性取决于接入点的数量，而与部署覆盖范围的空间范围无关。这一点非常重要，因为我们关注的是大规模基础设施，涵盖繁忙的城市中心和安静的郊区。

2.1.12. 源代码

所调查的研究中，没有一项发布其方法的源代码。PACK的源代码作为名为rpack的开源项目发布在GitHub[30]上。该算法使用 R语言实现，且该软件包包含了所有描述的功能，并提供易于使用的 API。

2.2. 摘要

总之，PACK算法在以下几个方面推进了先前的研究：
• 在部署固定数量的边缘服务器时，PACK同时完成两件事：最小化接入点与服务器之间的延迟，并平衡边缘服务器的工作负载，同时满足服务器的下界约束和上限容量约束。
• PACK允许宽泛和紧密的容量范围，并支持接入点工作负载的共享，从而根据不同需求和服务器容量实现灵活且可扩展的部署。这对于服务器容量较低的雾计算环境尤其有利。
• PACK允许将接入点指定为首选，即应靠近边缘服务器。除了莱瓦‐普波等人提出的特定站点的延迟要求外，相关研究在很大程度上忽略了对接入点的偏好。[31]
• PACK通过为被视为关键网络基础设施一部分的接入点提供预留容量，解决了部署中的可靠性问题。在相关工作中， Leyva‐Pupo等人[31],考虑了整个部署的双倍容量，但其他情况下均被忽略。
• PACK使用样本分位数对服务质量（QoS）和用户体验质量（QoE）的延迟统计进行评估，并包括平均和最坏情况延迟。
• PACK的开发和评估依赖于一个大规模的真实世界数据集，该数据集包含密集的中心城区和稀疏的郊区，涵盖广泛的工作负载。
• PACK在少量高容量边缘服务器（“MEC”）和大量低容量服务器（“Fog”）的场景下进行评估。
在表2中，我们比较了我们的方法与其它相关方法在已识别差距方面的表现。

3. 用于边缘服务器部署的PACK算法

在本节中，我们将详细介绍用于物理边缘服务器部署的PACK算法。PACK算法优化了固定数量边缘服务器的部署位置，在满足具有上下限的服务器容量约束的同时，最小化服务器与接入点之间的距离，并实现系统工作负载的均衡。该算法能够在分散的城市范围数据集中，无论接入点部署密度如何，均保持公平的服务质量。PACK采用成对距离度量（如可用的延迟或跳距，或地理空间距离）来衡量接入点与服务器之间的服务质量。此外，PACK提供了多个参数，用于建模工作负载共享、工作负载复制，并允许优先选择某些位置。最后，我们通过QoE和QoS指标对PACK的结果进行评估。

表2 相关工作中发现的差距

文章	Bhatta等人[5]	…	…	…	…		…	…	…
布埃等人[9]			…	–	…		…	…	…
Chenetal.[11]			…	…	…	…	…	…	…
崔等人[13]	…		…		…		…		…
daSilvaetal.[14]	…		…	…	…		…	…	…
范等人[17]			…		…	…	…	…	…
盖德昂等人[19]			…	…	…		…	…	…
关等人[20]	…		…	…	…		…	…	…
郭等人[21]		…		…	…		…	…	…
贾等人[23]	…	…		…	…		…	…	…
Jiaoetal.[24]		…	…	–	…	…	…	…	…
Kangetal.[25]		…		–	…	…	…	…	…
莱瓦‐普波等人[31]			…		…	…			…
Lietal.[33]	…		…		…	…	…	…	…
李等人[32]	…		…	–	…		…	…	…
刘等人[34]		…	…		…		…	…	…
马等人[37]				–	…	…	…	…	…
孟等人[39]			…	…	…	…	…	…	…
莫汉等人[40]	…	…	…	…	…		…	…	…
蒙达尔等人[41]	…		…		…	…	…	…	…
Sinky等人[49]		…	…	…	…		…	…	…
王等人[53]		…			…		…	…	…
Xu等人[54]			…	…	…	…	…	…	…
姚等人[57]	…			–	…	…	…	…	…
尹等人[58]	…		…	…	…		…	…	…
Zeng等人[60]	…		…	–	…	…	…	…	…
本文

3.1. PACK算法

给定一个包含n个接入点的数据集，设xi为接入点i的坐标。此外，接入点i的工作负载为 wi，该工作负载可通过例如每个接入点的平均或总连接用户数来确定（见第2.1.1节）。
此外，接入点ai的总权重值i定义为ai= wi+ γi，其中 γi是接入点i的位置偏好，可由领域专家设置（见第2.1.8节）。默认情况下， γi的默认值为0，即未设置任何偏好。对于优先选择的接入点，我们设置 γi> 0的值。此处 γi的值可视为添加到接入点i的人工工作负载。 γi的值越高，在优化过程中接入点i的总权重就越大
我们放置固定数量k的边缘服务器，旨在最小化到其关联接入点的加权距离，并满足容量约束。这种部署方案可被视为一个有容量限制的选址分配问题[10,12,18]。用cj，j= 1, 2,…, k表示这k个边缘服务器的坐标，每个边缘服务器均假设具有相似的计算负载容量。
记yij为接入点i到边缘服务器j的隶属关系。换句话说，yij是工作负载分配的指示变量，其中当接入点yij = 1中i的工作负载被分配给服务器j时取值为1，否则yij = 0。我们通过将选定的接入点分配给多个（例如两个）服务器来提高部署的可靠性（见第2.1.9节；参见 Q覆盖问题[26]）。最后，d(i,j)表示接入点i与服务器j之间的距离。该算法允许使用任意成对距离度量d，详见第3.2节。
我们的目标是最小化边缘服务器与其服务的接入点之间的加权距离之和，同时考虑每个接入点的工作负载和容量约束每个服务器的约束条件。因此，我们最小化目标函数
argmin cj ,yij n ∑ i=1 k ∑ j=1 aid(i,j)yij (1)
满足以下四个约束条件： 1.cj ∈{x1, x2,...,xn} ∀j。每个边缘服务器位置cj假设与某个接入点位置xi相同（见第2节.1.6）。2.(a)yij ∈{0, 1}或( b)yij ∈[0, 1] ∀i,j。采用硬分配(a)或分数的(b)成员约束（见第 2节.1.7）。在硬分配情况下，接入点i的工作负载要么完全分配给边缘服务器j（yij = 1），要么完全不分配（yij = 0）。在分数成员关系情况下，yij表示分配给服务器j的接入点i的工作负载分数[8]。3. ∑ k j=1yij = qi ∀i。所有接入点的工作负载被分配给qi个服务器，其中对于领域专家认定的关键接入点，qi> 1；其他接入点qi=1（见第2节.1.9）。在硬分配情况下，qi必须为整数。4.L≤∑ n i=1 wiyij ≤ U ∀j。每个边缘服务器的容量约束在L和U之间（见第2节.1.2）。
为了解决优化问题，我们使用块坐标下降算法[50]。在算法1中，我们迭代两个主要步骤：（i）将接入点分配给给定位置的服务器（第4行）和（ii）根据已分配的接入点重新定位每个服务器（第5行）。迭代持续进行，直到边缘服务器的位置不再变化。

算法1 PACK算法

xi, wi, k, N
输出：边缘服务器位置c∗j和分配y∗ ij
1:对于l= 1到N执行
2:使用K均值聚类初始化cj，j= 1, 2,…,k++
3:当cj发生变化时执行
4:分配步骤：最小化(1)关于yij 5:位置步骤：最小化(1)关于cj
6: S ←目标函数的值
7:结束循环
8:如果S< Smin或l= 1那么
9: Smin ←S
10: cj ∗← cj
11: y∗ ij←yij
12:结束如果
13:结束循环
14:返回c∗j,y∗ ij
由于这种迭代的结果不能保证是全局最小值，N个边缘服务器位置的初始值在算法1中被使用。通过k‐means++算法[2]获得一组合理的初始值。k‐means++算法使初始服务器位置分布更均匀，从而提高了k均值方法的速度和准确性。
分配步骤在分配步骤中，我们针对yij最小化目标函数(1)。2、3 和4约束条件被使用，因为边缘服务器位置cj被假定为固定。对于硬成员约束，此步骤是一个NP‐困难的整数规划任务[44]。然而，在分数成员关系的情况下，这是一个线性规划任务，可在多项式时间内求解[28]。
位置步骤。位置步骤根据AP的分配重新定位边缘服务器。换句话说，目标函数(1)在仅约束cj下对1进行最小化，同时保持分配y ij固定不变。该步骤等同于为每个服务器计算其被分配到的AP的中心点，其中中心点定义为到簇中所有点的距离之和最小的点[27]。
我们将块坐标下降算法实现为一个名为rpack[30]的开源R包。分配步骤在Gurobi[22], 上运行，这是一个具有R语言绑定的快速优化包。如果Gurobi不可用，则分配步骤可以在lpSolveR包 [4]上运行。

3.2. 距离

在相关研究中，典型的选择包括欧几里得距离和平方欧几里得距离作为距离度量。
d1(i,j)= ∥xi − cj ∥ ,
d2(i,j)= ∥xi − c j ∥ 2 ,
分别。
对于欧几里得距离，该问题可视为有容量限制的p‐中值问题[18]，而平方欧几里得距离则可视为有容量限制的k均值聚类，其中聚类中心被限制在数据点上。这种k均值方法的离散变体通常被称为k‐中心点方法[27]。
通过应用(1)中的欧几里得距离，使到服务器的平均距离最小化。然而，平方欧几里得距离的最小化会对较大偏差施加更强的惩罚，因此倾向于形成具有集中式簇头的更接近球形的类群[42]。这种方案形成一种星型部署拓扑结构，其中边缘服务器在空间上集中于中心。这有助于改善延迟，即在密集和稀疏的接入点部署中均实现公平的服务质量，尤其有利于原本处于远程的接入点。因此，我们倾向于使用平方欧几里得距离，并在评估中采用该方法。
PACK算法对距离度量的选择是无感知的。默认情况下，我们的开源rpack R包支持使用欧几里得距离和平方欧几里得距离。然而，只要向rpack提供一个n ×n的矩阵，其中包含所有接入点之间的成对距离，就可以应用任何距离度量。这使得在可用的情况下，可以使用源自网络拓扑的距离度量，例如跳数或延迟度量。更广泛地说，可以优化任何能够定义为接入点与其所分配服务器之间成对函数之和的定量关键绩效指标。例如，客观和主观的边缘服务依赖性度量（如 [16],中所述），包括服务类型（实时和非实时）、响应性作为用户体验质量的度量，这些都会对放置候选位置提出相应的要求。

3.3. 评估指标

我们通过一组与服务质量及服务器上累积的工作负载相关的功能性和非功能性关键绩效指标来评估PACK。具体而言，我们关注接入点与边缘服务器之间的延迟分布，以及边缘服务器上的工作负载分布。
我们使用选定的距离度量来测量延迟，即接入点与服务器之间的距离。然而，从用户视角来看，相同的QoS度量可以被解释为QoE度量，即通过用户所连接的接入点，根据用户与服务器之间的接近程度来测量的延迟。为了便于解释，我们在测量中采用欧几里得距离作为 QoS度量，而不是在部署中使用的平方欧几里得距离。
按工作负载加权的平均接入点距离的计算方法如下
Mean= 1 W n ∑ i=1 k ∑ j=1 wi ∥xi − cj ∗∥y ∗ ij ,
其中c∗j为优化后的服务器位置，y∗ ij为优化后的隶属关系，W =∑ n i=1 wi为该区域的总工作负载。
此外，我们通过样本分位数qα深入研究距离分布，该分位数用于测量在 α比例的工作负载下接入点与其边缘服务器之间的最大距离。因此，通过选择接近1的比例 α，可以评估最坏情况服务质量。例如， q0.95表示95%工作负载到服务器的距离。此外， α= 0.5，q0.5对应中位数服务质量。
最后，我们通过边缘服务器工作负载的标准差以及工作负载的最小值和最大值来测量部署候选方案的工作负载均衡。

4. 评估

为了评估PACK算法，我们使用真实世界的Wi‐Fi网络数据集，在两种边缘计算场景中模拟边缘服务器部署：一种是少量高容量边缘服务器的场景（MEC场景），另一种是大量低容量边缘服务器的场景（雾计算场景）。在分析中，这两种场景提供了基于现实的不同视角和验证标准，以评估PACK算法的灵活性以及PACK中广泛参数集的影响。本次评估旨在深入了解边缘计算架构的结果，包括服务器数量及其容量范围，以及系统

示意图1

可扩展性以及部署和管理成本等设计因素，如[51]中所述。此外，评估还考虑了基于现实世界的一系列额外约束，包括服务器容量和工作负载共享、位置优先级，以及通过工作负载复制实现的可靠性。
多接入边缘计算和雾计算场景均包含多种设置，这些设置突出了部署的不同方面。在所有设置中，PACK使用100个初始部署候选方案（通过K均值聚类方法随机选择的服务器位置集合）。++最终的服务器部署以及接入点到边缘服务器的分配基于目标函数（公式(1)）取最小值时的聚类结果，如PACK算法（算法1）所述。

4.1. 数据

针对多接入边缘计算和雾计算场景的评估是基于现实世界数据集进行的仿真，该数据集收集自2007年至2015[29]期间奥卢市 panOULU公共网络Wi‐Fi接入点。如第2.1节所述，相关研究也提供了同一时期的数据集。
在评估中，我们重点关注2014年全年收集的数据，因为该年度在 450个活跃接入点上观测到了最大数量的年度Wi‐Fi连接（总计 257,552,871次）。如图2(a)所示，接入点部署包括芬兰奥卢市的密集覆盖市中心和稀疏覆盖的郊区。
每个边缘服务器可处理的计算负载有限。我们假设每个连接用户会给边缘服务器带来1个单位的负载。通过对记录数据中数以亿计的连接聚合出单位用户工作负载，可以简单而有效地估算接入点之间的相对工作负载，用于离线边缘服务器部署。
图2(c)展示了某地方理工学院一个接入点在不同时间尺度（即年度、月度和周度）下同时连接用户数的时间序列。例如，在周连接数面板（底部）中，工作日与周末的差异清晰可见。在年连接数面板（顶部）中，经过夏季后学期开始时连接数的集中现象也十分明显。该特定接入点在2014年的最高同时连接用户数达到约100人。
我们将接入点的工作负载定义为2014年该接入点同时连接数的最大值。通过这种方式，我们强调了高峰时段的最大工作负载。如图 2(b)所示，这种最大工作负载的分布极度偏斜，大量接入点的工作负载较低，而极少数接入点的工作负载异常高。
PACK支持任何成对距离度量。然而，与所有相关工作一样，数据集中并未提供底层网络的拓扑结构。在诸如本文所使用的异构数据集中，包含中心区域和偏远区域，各跳之间的地理空间距离存在显著差异。这种异构性在包含大都市区的数据集中十分典型。通常情况下，单跳在郊区对应的距离要长于密集的城市中心。这使得地理空间距离对底层跳距的估计产生偏差。然而，工作负载较重的中心区域往往会掩盖工作负载较轻的偏远区域，导致两者之间的服务质量不平等。为了有利于郊区，我们采用平方欧几里得距离作为底层拓扑的估计，从而放大这些区域的距离。

4.2. MEC边缘服务器部署

MEC场景基于多接入边缘计算，采用中等规模的数据中心，这些数据中心通常与移动网络基站[15,45],共址，而最近也与接入点共址。作为标准化多接入边缘计算基础设施的一部分，强大的边缘服务器控制着相连的网络基础设施组件（包括基站、接入点、交换机和路由器等）的计算和通信资源，每个组件都连接有一组用户设备。因此，所形成的边缘计算基础设施基于少量地理上分散的类群，以强大的边缘服务器作为集群头，每个集群头连接大量接入点。
该MEC场景基于领域专业知识的估算，假设在仿真中使用20个边缘服务器的预算。我们将容量限制以均匀工作负载（426.5）为中心，并采用相对较宽的窗口宽度，从而得到最低容量限制为327，上限为526。我们比较了六种不同的多接入边缘计算服务器部署方案：
方案M1存在上下限容量约束。方案M2无任何容量约束，对应于离散k均值方法，也称为k‐中心点方法。方案M3仅存在上限容量约束，这是文献中平衡工作负载的典型方式。方案M4存在上下限容量约束，并且接入点具有分数成员关系。方案M5存在上下限容量约束，并为五个接入点设置了位置偏好。
方案M6存在上下限容量约束，并为五个接入点增强了可靠性。
除了在设置M4中，默认采用硬分配，即假设边缘服务器不会共享接入点工作负载。在M5和M6中，我们假设接入点是基于领域专业知识选择的，可能例如属于关键基础设施。通过为所选接入点设置参数 γi= 100来实现位置偏好。通过将五个接入点精确分配给两个服务器，即为5个关键接入点设置qi= 2，以复制的工作负载实现可靠性。
定量评估指标（见第3.3节）汇总于表3。此外，MEC场景中每种设置对应的最优服务器部署候选方案如图3和图4所示，突出了延迟与工作负载均衡之间的权衡。