面向MEC的虚拟物联网服务切片-优快云博客

面向多接入边缘计算平台的虚拟物联网服务切片功能

利昂内尔·恩肯耶雷、黄在荣、福越·范，IEEE会员，以及金承俊， IEEE高级会员

摘要

随着物联网（IoT）的发展，智能工厂、智慧城市和智能汽车等不同用例正在不断推进。为了支持各类垂直应用场景，多接入边缘计算（MEC）和网络切片等技术正在被研究。然而，在提供特定物联网服务时，仅依靠网络切片和MEC是不够的。因此，需要一种在网络边缘对物联网平台中使用的通用服务功能进行编排和运行的方法。此外，不仅需要交付虚拟通用服务功能，还需实现这些虚拟通用服务资源的自动扩展策略。本研究将资源切片技术的概念扩展至物联网服务层。物联网服务层在网络边缘的网络功能虚拟化基础设施（NFVI）上，以虚拟网络功能（VNFs）的形式向MEC应用提供虚拟物联网通用服务功能，作为物联网切片服务。我们提出了一种虚拟物联网切片服务编排的框架架构，并说明了如何将现有集中式云中的虚拟物联网服务功能实例化到MEC平台。我们还提出了一种在 NFVI上针对虚拟物联网切片服务功能（vIoT‐SSFs）资源的弹性计算算法，使物联网应用和底层物联网资源能够访问网络边缘的vIoT‐SSFs。

索引术语 —自动扩展策略，物联网（IoT），网络切片，多接入边缘计算，oneM2M标准，物联网服务层虚拟化，虚拟网络功能

I. 引言

在近年来，物联网（IoT）平台通过将物联网应用与一组特性相结合，以提供更优质的服务质量（QoS）[1],[2]。主要特性包括动态性、地理分布、设备异构性和通信协议互操作性。然而，物联网终端用户期望更高的服务质量，但由于缺乏专为满足此类物联网应用需求而设计的适当解决方案，导致服务质量下降。为解决物联网中的服务质量问题，物联网解决方案不仅在物联网平台内部进行定制，还在移动网络层面进行优化。物联网平台为物联网解决方案增添了智能性和认知能力，并整合了多种物联网核心功能（包括设备管理、数据库存储、应用网关以及可视化）。这些核心功能通常部署在云基础设施的集中式物理服务器上[1],[3]。

同时，将物联网平台设计为通信基础设施时，会考虑基于第五代（5G）的通信平台中的网络切片概念。因此，提出了新的概念以全面支持新型物联网应用的各种需求。第五代网络的概念之一是网络切片[4]。网络切片在相同通信基础设施上的多个独立虚拟网络之上逻辑部署一组网络功能（NFs）。在具有特定网络功能的物联网系统中创建独立虚拟网络，开创了物联网切片[5],[6]的概念。物联网切片由一组网络功能（例如，代理、数据分析流和数据存储）组成，旨在满足物联网应用对延迟、吞吐量和可用性的需求。因此，网络切片和物联网切片分别是新网络功能可编程性即软件定义网络（SDN）和网络功能虚拟化（NFV）的结果[4]。多家标准组织的努力已取得显著进展，使软件定义网络/网络功能虚拟化（SDN/NFV）技术成为移动网络运营商的现实。

SDN/NFV支持通过网络切片部署物联网服务[7]。SDN通过在控制平面利用可编程功能，由软件控制器动态部署路由规则，从而将控制平面与数据平面分离。与此同时，NFV将网络功能从专有硬件设备中解耦，通过称为虚拟网络功能（VNFs）[8]的软件组件来加速网络功能的服务创新和供应。具体而言，VNFs可以在虚拟机（ VMs）或软件容器中运行，实例化于具备足够计算资源的标准高容量服务器上，以便可以根据需要轻松地重新配置或移除[9]。此外，SDN/NFV原则被适配并部署到物联网设备和物联网应用中，形成了软件定义物联网模型[10]。后者使用NFV实现作为底层传感器/物联网资源表示的软件定义虚拟传感器。因此，结合轻量级开销虚拟化技术（如容器、ClickOS或单体内核）的网络软化方案（ SDN/NFV）旨在满足数据处理的低延迟要求，提升服务质量（QoS），并间接推动多接入边缘计算（MEC）的发展[11],[12]。

多接入边缘计算利用软件化举措，在NFV基础设施之上提供可部署的MEC服务（NFVI）位于网络边缘的地理位置[13]。由欧洲电信标准协会（ETSI）提出的符合ETSI标准的多接入边缘计算平台，在网络边缘提供云计算和信息技术服务，使物联网平台提供商能够利用MEC平台能力，提供本地和离线数据存储能力，处理设备的离线操作、边缘分析、边缘事务处理、动态过滤或聚合设备数据等[13],[14]。因此，符合ETSI标准的MEC平台提供了多种重要的应用程序编程接口（API），以便应用程序开发者和内容提供商扩展边缘计算范式的应用范围。

在文献[15]中讨论了基于多接入边缘计算的物联网架构，用于提供低延迟服务并协调物联网设备之间的通信。这些边缘物联网架构支持资源切片、异构租户权限以及物联网资源共享。文献[7]探讨了移动边缘物联网云架构。该架构的特点是在物联网服务层使用资源切片技术来提供低延迟服务。为了最优地分配虚拟网络功能资源，文献 [16]提出了一种称为M2EC的编排解决方案，用于MEC平台上的异构租户的管理和管理。此外，文献[16]引入了多接入边缘计算代理作为管理MEC平台上租户的实体。M2EC根据租户服务级别协议分配请求的资源。集成物联网平台能力，例如物联网网关（IoT‐GW）功能以支持大规模机器类通信网络切片，已提出一种改进的模块化切片架构，该架构实现了在物联网网关层级的虚拟化，并协调与物联网设备的通信[17]。然而，在物联网系统中，在同一MEC平台上以虚拟网络功能形式对多接入边缘计算应用进行虚拟物联网服务切片资源的编排和扩展的概念值得进一步探讨。

通过增强边缘计算的计算体验，网络运营商中兴起了一种新方法：服务化切片（SlaaS）范式。物联网系统可被视为最合适的客户，通过利用自管理且隔离的网络资源切片[5]来实现。本研究将资源切片技术的概念扩展到物联网服务层[7]。物联网服务层在网络边缘的NFVI之上，以VNF形式为MEC应用提供虚拟物联网通用服务功能（CSF），作为物联网切片服务。在本文中，我们重点利用网络功能虚拟化（NFV）来实现虚拟物联网切片服务，以表征底层物联网公共服务功能（CSF），从而为各种物联网应用节点提供所需的服务。我们解决以下两个问题。

第一个问题是网络功能虚拟化管理和编排（NFV MANO）中虚拟物联网切片服务功能（vIoT‐SSFs）的供应。我们提出了一种虚拟物联网切片服务编排的框架架构。选择市场上合适的工具来对vIoT‐SSFs进行编排、管理、部署和移除至关重要。因此，在现有的可用于管理和并且在NFV部署的编排（MANO）方面，我们采用开源 MANO（OSM），因为它符合欧洲电信标准协会网络功能虚拟化（ETSI NFV）的信息模型。此外，OSM是一个合适的框架，因为它提供了虚拟网络功能管理器（VNFM）厂商工具，例如Juju。Juju在欧洲电信标准协会网络功能虚拟化（ETSI NFV）架构[18]中被视为通用的VNFM。

第二个问题是NFV基础设施上虚拟物联网特定服务功能资源的计算资源弹性，以便物联网应用和底层物联网资源能够访问网络边缘的虚拟物联网特定服务功能。我们提出了一种用于自动扩展虚拟物联网特定服务功能资源的弹性边缘计算策略。

本文其余部分的结构如下：表I定义了缩写。第二节介绍了物联网服务切片关键概念的背景和相关工作。第三节介绍了虚拟物联网切片服务编排的框架设计和架构。第四节介绍了面向边缘计算的vIoT‐SSFs的MEC物联网弹性计算算法。第五节利用OSM框架和所提出的自动扩展策略，评估了在NFVI上vIoT‐SSFs的实例化。最后，第六节给出了结论和未来工作。

II. 物联网服务切片关键概念的背景与相关工作

本节首先介绍了网络切片、基于oneM2M标准的物联网平台以及由OSM管理的NF基础设施。接着讨论了虚拟实例的配置工具，以及将虚拟网络功能（VNF）作为网络服务（NS）的一部分进行实现和部署的基本概念，这些概念在本研究中用于部署虚拟物联网特定服务功能（vIoT‐SSFs）。

A. 5G大规模物联网、网络切片与虚拟化中的物联网切片编排

传统的物联网云计算模型在物联网设备访问CSF时存在巨大的延迟。为缓解这一问题，引入了一个中间层，即边缘计算。随后，提出了一种下一代物联网模型，称为边缘驱动的物联网环境。它由三个组件构成：物联网设备、边缘层和云后端[19]。作为生态系统的关键部分，边缘层承担着连接和对接中心云计算与物联网的重要角色。此外，边缘层为其附近物联网设备所使用的物联网应用程序提供额外的计算、网络和存储资源。根据用户需求和场景，边缘层的功能可以在蜂窝基站、物联网网关、低功耗节点或微型数据中心中执行。这些设施通常由云服务提供商或电信运营商（在MEC中）拥有。因此，边缘驱动的物联网基础设施主要针对由网络功能虚拟化（NFV）实现的连接性和网络导向型功能，通过将典型的云物联网服务虚拟化，以满足物联网服务提供商在请求专用逻辑基础设施来支持特定用例时的需求。从而在低延迟方面满足苛刻的物联网服务需求。

缩写	含义
IoT	物联网络
QoS	服务品质
5G	第五代网络
NFs	网络功能
SDN	软件定义网络
NFV	网络功能虚拟化
VNFs	虚拟网络功能
VMs	虚拟机
NFVI	网络功能虚拟化基础设施
ETSI	欧洲电信标准协会
MEC	多接入边缘计算
APIs	应用程序编程接口
物联网网关	IoT-GW
vIoTSS	虚拟物联网服务切片
SIaaS	切片即服务
CSFs	公共服务功能
OSM	开源MANO
VNFM	VNF管理器
oneM2M	机器对机器通信标准
NS	网络服务
KPI	关键性能指标
SLA	服务级别协议
vEPC	虚拟演进分组核心
vFW	虚拟防火墙
vGW	虚拟网关
mIoT	大规模物联网
RAN	无线接入网络
超可靠低延迟通信	URLLC
mMTC	大规模机器类通信
资源切片互操作中心	rsiHub
AIMS	人工智能微服务
CSFV/vCSFs	通用服务功能虚拟化
VLs	虚拟链路
VIM	虚拟基础设施管理器
RO	资源编排
SO	服务编排
SSH	安全外壳
AN	应用节点
NSD	网络服务描述符
KVM	基于内核的虚拟机
ICSP	物联网中心服务策略
ISSM	物联网切片服务管理器
LXD	Linux容器
IPMC	物联网平台管理层
VCSF	虚拟化容器与CSF
VCA	VNF配置抽象
GUI	图形用户界面
CSFD	通用服务功能描述符
M2M	机器对机器
ADN	应用专用节点
LCM	生命周期管理
YAML	YAML不是标记语言
RTT	往返时间
SFC	服务功能链
MQTT	消息队列遥测传输

以及高吞吐量。在边缘层实例化的这些物联网服务必须利用灵活性和可编程性，以跨分布式地理边缘节点提供物联网CSF功能，确保异构硬件的互操作性。

第五代大规模物联网利用物联网系统提供的灵活性来使用第五代网络切片。在此场景中，传感器通过无线方式（例如ZigBee和LoRa）与物联网网关（GW）或边缘节点通信，这些节点可通过第五代大规模物联网设施处理和存储数据。5G大规模物联网节点有助于物联网平台将物联网应用连接到底层传感器资源。5G大规模物联网方法通过不同的虚拟网络功能（如虚拟演进分组核心（vEPC）、虚拟防火墙（vF W）和虚拟网关（vGW）[20]），提供丢包率等关键性能指标（KPI），以满足服务级别协议（SLA）的需求。

近年来，大规模物联网（mIoT）方法在文献中得到了深入研究。例如，作者[21]提出了一种面向mIoT和突发性超可靠低延迟通信（uRLLC）服务的无线接入网络（RAN）切片方案，其中针对mIoT的RAN切片被优化用于编排RAN资源。另一项工作[22]分析了同时包含 uRLLC和大规模机器类通信（mMTC）的接入机制。该论文中，作者提出了一种5G无线帧结构，能够基于设备邻近性、uRLLC需求以及使用专用前导码对设备进行分组，以支持随机接入的时隙分配。

针对物联网租户分配、维护和配置5G网络切片以基于不同服务质量优化物联网流量流的研究已十分深入。[5]中提出了一种5G网络切片代理操作，其中5G网络切片代理接收来自物联网解决方案提供商的切片请求，以提供网络资源来运行物联网应用程序。仅当网络特性足以容纳新切片的网络资源时，5G网络切片代理才会接受该请求。随后，在RAN元素的特定部分内实例化新的切片。5G网络切片代理通过持续监控流量，对物联网流量进行最优重塑，以检查物联网流量是否超出网络切片关键性能指标，从而避免意外的网络拥塞。在某些特殊情况下，物联网企业可发送资源重新协商请求。5G网络切片代理会检查在不破坏其他切片服务等级协议的前提下，授予网络资源升级是否可行。因此，5G大规模物联网切片所获得的网络资源由5G网络切片代理通过控制平面消息通道进行动态管理。该论文中设计的控制平面消息通道用于动态调节物联网网关与物联网平台之间交换的数据量。该架构中的物联网网关通过物联网大规模5G切片与上层5G网络切片管理通信。另一个用于资源切片编排的5G大规模物联网示例是资源切片互操作中心（rsiHub）解决方案[23]。该方案包含处理按需切片供应的技术和服务。在该论文中，资源切片是一组为满足特定需求的应用程序而建立、供应和管理的资源（例如，物联网资源、网络功能资源和云资源）。资源切片互操作中心旨在选择资源、部署资源并控制资源以支持互操作性。为实现互操作性，资源切片互操作中心专注于通过翻译器收集有关资源的元数据。

网络切片概念通过在通信网络基础设施的共享资源上创建逻辑网络，增强了网络特性。工作切片按需构建切片以满足特定的网络能力。在编排物联网切片时使用了边缘和云微服务平台，如[24],[25]中所示。作者提出了一种原型，实现了资源的端到端协调，以支持利用边缘和云微服务平台的实际物联网部署。该论文中提出了一种物联网切片编排器的设计。该编排器旨在增强物联网解决方案在一组共享基础设施上的多租户共存能力。物联网编排器利用第五代网络切片所提供的灵活性，以及自动化特定的物联网相关功能（如物联网网关和物联网分析服务器），来编排和管理物联网切片。该原型主要关注真实环境中边缘与云计算领域的多租户方面（例如 Google Compute Engine）以及开源微服务平台（例如 Kubernetes），这些平台在网络边缘提供功能。

支持SDN的系统在过去的几年中已被深入研究，以设计未来的物联网框架。文献[26]提出了一种基于虚拟化工具和SDN范式的物联网框架，旨在提供丰富的用户上下文应用和快速物联网设备部署。在该研究中，物联网框架实例化于网络之上，不同网络功能的生命周期管理通过 VNF管理器（VNFM）由MANO框架进行管理。尽管构成物联网切片的一组网络功能已被虚拟化，但基于虚拟化的方法在某些领域可能并不合适，尤其是在网络边缘资源受限的物联网板级设备上。为解决虚拟网络功能的资源消耗问题，研究人员设计了以软件形式部署的网络功能以及一系列无需虚拟化开销的小型服务。轻量级网络功能（ Flyweight NF）是一种将网络功能实现为应用程序的形式，可在计算资源有限的物联网设备（例如用作物联网网关的树莓派）上动态可编辑/可删除和可配置[27]。除了轻量级网络功能外，文献[28]还描述了一种基于微服务的平台，用于在网络边缘实现自主决策。作者提出了一种基于人工智能（AI）作为微服务（AIMS）概念的第五代集成架构，用于智能物联网。该论文中提出的架构旨在支持人工智能微服务的实现，能够在物之边缘为延迟敏感型物联网应用处理自主决策。本文中，我们考虑运行在虚拟机或软件容器上的虚拟物联网CSF资源。

边缘计算有望处理物联网设备生成的数据，并集成新兴网络技术，在网络边缘编排卸载服务。文献[29]提出将虚拟网络功能部署在适合高效交付移动应用的位置。在该研究中，作为服务的虚拟网络功能能够将计算任务从设备端卸载，避免复杂的本地处理，从而延长物联网设备的电池寿命。此外，多接入边缘计算已在使城市更加智能方面得到探索[30]。在该研究中，作者通过提出“跟随我边缘”来解决众所周知的用户移动性问题。这一概念强调MEC服务的自主创建，实现随时随地的数据访问，提升体验质量（QoE）并降低延迟[31],[32]。此外，已有研究探讨了内容分发网络（CDN）切片的供应架构[33]。该CDN切片可根据内容提供商的请求进行实例化，并在多个异构的边缘云上自主部署。为了提供CDN 切片，提出了符合MEC标准的网络功能虚拟化（NFV），以优化视频服务的体验质量（QoE）。

基于三种新兴技术的自适应解决方案，即（人工智能、边缘/雾计算和软件定义网络/网络功能虚拟化），能够预测可用于管理和编排雾节点的功能。[34]中的研究讨论了在不可靠/不稳定环境中部署物联网解决方案的问题，以提高下一代物联网服务的速度。为了减轻安全风险， Bagaa等[35]提出了一种基于机器学习的新型安全框架。[36]中提出了利用边缘缓存概念的联邦深度强化学习方法，用于在训练和数据传输期间调节网络资源。由于大规模物联网产生的上行链路流量巨大，导致无线接入网络过载，Bagaa等[37]提出实施小小区无线接入网，以在网络中互连不同的海量物联网设备。该方案高效地解决了部署延迟和小小区回传两个问题。Kim等[38]提出了一种名为快速接入协议的随机接入过程，以解决延迟敏感型和延迟容忍型大规模机器类通信设备在接入基站时的共存问题。该快速接入协议技术实现了99.999%的可靠性，并将上行链路延迟缩短了80.8%。

B. 物联网服务层的资源切片技术

集中式物联网服务层平台在访问延迟敏感型物联网应用中的公共服务功能（CSF）时，会导致高延迟通信。在此背景下，文献[7]中提出了物联网公共服务功能切片（slicing IoT CSFs）的概念。在该研究中，所有公共服务功能（CSF）与其依赖于服务的数据被共同虚拟化。公共服务功能虚拟化（CSFV/vCSF）的定义使得物联网解决方案提供商能够将该CSFV打包并部署到边缘云上的虚拟化商业服务器或网络功能虚拟化基础设施（NFVI）中的虚拟机（VM）上。在提供vCSF的过程中，核心服务器云通过接口与位于边缘节点的虚拟机同步数据，并控制虚拟化公共服务功能实例（v‐CSF instances）。

集中式云物联网平台的往返延迟较高（100毫秒），限制了即将推出的基于物联网的应用服务部署。基于 MEC的架构性能评估表明，后者有望将往返延迟降低至 10毫秒以下[39]。欧洲电信标准协会（ETSI）发布了基于网络功能虚拟化基础设施（NFVI）的MEC架构框架，以在云设施或网络运营商站点边缘动态部署物联网服务应用程序，并降低通信延迟。例如，符合ETSI的MEC架构解决方案为MEC平台提供了多种MEC服务，以促进物联网网络与服务的融合。例如，基于MEC和中心云的端到端网络切片物联网服务在[40]中被提出。所提出的框架旨在沿端到端路径动态部署封装为虚拟网络功能的微服务。该框架的性能表现出在极短时间内跨多个参与域部署端到端切片的灵活性，并且由于端到端切片的隔离性，服务质量得到提升。

MEC和NFV实现了物联网应用的动态部署。基于软件的虚拟化技术（如容器）具有显著特性，例如实例化镜像的隔离性和安全性。由于这些容器代表了物联网部署目标边缘节点上的存在点，虚拟化技术的应用限制了VNF的实例化，因为许多虚拟主机需要高容量的计算和存储资源。此外，MEC提供了支持物联网平台的手段。在[41],中进一步研究了MEC与物联网平台的结合，通过以多租户方式向物联网终端用户提供统一的物联网服务，将不同的物联网技术集成到单一平台中。MEC物联网平台作为一个整体提供物联网服务，利用部署在MEC设施内的软化物联网网关构建中间件，从而能够运行来自不同无线技术链路接入类型和协议的多个虚拟化物联网网关实例。

C. OSM 和虚拟实例配置工具

由欧洲电信标准协会（ETSI）托管的生产级开源网络功能虚拟化管理和编排（OSM）提供了商用网络功能虚拟化的相关需求。由OSM辅助的NFV可分为四个部分：NFV基础设施、虚拟网络功能（VNF）、网络服务（NS，即网络切片）以及管理与编排（MANO）系统。NFV基础设施包括可承载虚拟机（ VM）和容器的计算节点。这些虚拟化容器节点通过虚拟链路（VL）相互连接。以下云管理软件可用作虚拟基础设施管理器（VIM）：OpenStack、openVIM、vim‐emu、VMware。随后，我们将虚拟网络功能（VNF）、网络服务（NS）和网络切片视为网络功能（NF）。网络服务（NS）是一组虚拟网络功能及其互连的集合。网络服务（NS）可进一步组合和用于启动网络切片。最后一部分是管理和编排系统，旨在控制VNF、NS和网络切片的生命周期。MANO还包括 VNF的配置与监控。OSM采用Canonical公司的Juju作为虚拟网络功能管理器（VNFM），以实现虚拟网络功能（VNFs）的生命周期管理，因为VNF管理器可以是通用的或特定厂商的。图1显示了OSM。资源编排（RO）负责资源编排任务，包括部署vNF和管理VIM。服务编排（SO）是负责NS生命周期管理的组件，例如启动、停止和配置NS，此外还监控NS中的不同任务。

示意图0

NFV编排器与通用的VNF管理器或Canonical公司提供的特定厂商的VNF管理器进行交互。Juju是一种虚拟实例配置工具（可在线获取于https://jujucharms.com），提供云应用程序的实例化管理、监控、集群和扩展功能。Juju通过运行一组称为“charm”的Python或Bash脚本实现操作。一个charm包含部署和配置虚拟实例所需的全部信息。在大多数情况下，需要运行charm来配置和监控实例。其他虚拟机配置工具还包括Ansible（可在线获取于 https://www.ansible.com）。Ansible通过Python解释器执行所有必要操作，并通过安全外壳协议（SSH）配置虚拟实例。其他用于虚拟实例管理的配置工具还包括Chef（可在线获取于https://www.chef.io）、Puppet（可在线获取于 https://puppet.com）和saltStack（可在线获取于 https://www.saltstack.com）。

III. 虚拟物联网切片服务编排的框架设计与架构

本节介绍了虚拟物联网切片服务编排的完整框架架构，该架构旨在为物联网应用和物联网应用节点（AN）提供物联网切片（虚拟表示）服务，设计基于以下假设：

物联网应用以各种特性集进行部署，包括将物联网服务部署到不同的物联网部署目标。
物联网终端用户不了解物联网部署平台（基于云的或传统云平台，且支持虚拟化）的资源限制。
通用VNFM支持物联网切片服务的编排和管理。
物联网切片以虚拟网络功能（VNF）的形式在网络边缘与MEC ETSI平台共址实例化。
基于物联网标准（如oneM2M [43],[44]）解释了物联网切片服务的虚拟表示。本节提出的组件和流程结构符合各种物联网平台[45]。本节描述的主要方面如下：
高层架构：整个架构的概述。
物联网平台管理和编排：物联网切片（IoTslice）服务的管理和编排框架。
支持MEC的物联网平台NFV基础设施：用于虚拟物联网特定服务功能部署的基础设施。
部署物联网切片功能工作流流程：在支持MEC的 NFV基础设施上接入vIoT‐SSFs的解决方案工作流概述。

SDN有助于网络管理和实现网络配置，以提升性能。SDN支持基于应用层实施的策略和决策进行网络自动化，而 NFV则专注于服务。与所提出的系统相比，其基本思想是根据各类物联网应用的性能要求，定制化暴露给物联网应用的物联网通用服务层。所提出的框架建立在将管理层从底层网络中解耦这一核心概念之上。管理层被部署在独立的位置，与负责虚拟物联网特定服务功能（ vIoT‐SSFs）编排的实体相分离。所提出的参考架构包含以下关键使能技术：

使用特定的明确定义的OSM MANO，以实现虚拟物联网切片服务在网络边缘的可编程性；
公开oneM2M通用服务功能的资源视图，并根据物联网应用提供网络功能需求；
能够定制物联网通用功能，使物联网切片作为多接入边缘计算应用程序表示一个虚拟化、独立的端到端物联网服务，以根据各自的用例和物联网解决方案的管理策略支持低延迟物联网应用；
虚拟物联网切片服务包含oneM2M的通用功能， oneM2M是一个为通信互操作性而高度标准化的物联网平台。这使得其他标准化的物联网通用平台能够在 MEC主机上共存。

A. 高层架构

高层架构由两个主要元素组成：物联网平台管理和支持MEC的NFV基础设施，如图2所示。物联网平台管理负责整个物联网切片服务的编排。起点由物联网解决方案提供商和物联网生态系统领域（物联网消费者）提供，它们可以向物联网平台管理提交一组特定的高层次物联网 CSF需求。后者负责将这些按需物联网通用功能需求转化为精确的物联网切片功能资源配置集合，并以网络功能描述（NSD）的形式对物联网切片服务进行总体描述。物联网CSF可能分为两种类型（称为功能层级）：低层级和高层级功能。前者是以微服务形式存在的通用功能，运行在Docker容器下，因此低层级物联网功能的虚拟化技术为Docker。后者是单体式物联网功能，这类功能相互交织，而不是由物联网提供商所拥有的架构上独立的组件构成。单体式物联网功能的虚拟化技术是基于内核的虚拟机(KVM)。针对每种物联网功能层级类型，会基于虚拟化技术（管理程序和容器）在一组特定的不同虚拟物联网特定服务功能（vIoT‐SSFs）中生成相应的配置。而网络服务描述符（NSD）则设计用于在网络功能虚拟化管理与编排平台（ NFV MANO平台）上运行。本研究采用符合欧洲电信标准协会网络功能虚拟化（ETSI NFV）信息模型的OSM堆栈。OSM旨在描述所需的虚拟物联网特定服务功能（vIoT‐SSFs）以及它们之间的虚拟网络链路。此外，支持MEC的NFV基础设施由 MEC平台和符合oneM2M标准的虚拟物联网服务功能实例（ vIoT‐SSF实例）组成；MEC平台站点代表一个存在点，包含虚拟基础设施管理器（VIM）和计算主机。位于MEC NFV基础设施中的虚拟物联网服务功能实例（vIoT‐SSF实例）可接收来自经过认证的物联网设备上传的数据，并能与物联网平台管理同步以进行进一步分析。经过认证的租户（物联网应用）可在指定时间检索存储在虚拟物联网服务功能实例（vIoT‐SSF实例）中的数据。此外，已在基于中心云的物联网中注册的经过认证的物联网应用程序，可通过丰富接口发送不同控制指令，在MEC基础设施中完成注册。物联网平台管理能够管理分布在网络边缘的虚拟物联网服务功能实例站点（vIoT‐SSF站点），因为OSM为多 VIM（例如OpenStack、VMware）编排提供了更优的生产质量。

示意图1

B. 物联网平台管理和编排平台

图2展示了物联网平台管理的主要组件：物联网平台管理层、物联网中心服务策略（ICSP）、物联网切片服务管理器（ISSM）和OSM。这些组件被设计并实现以适应完全容器化的环境。我们采用LXD作为虚拟化技术。LXD被定义为基于Linux容器的下一代容器技术。LXD提供了类似于虚拟机的用户体验。因此，与单体式实现相比，我们期望在基于微服务的架构中运行物联网功能能够带来多项优势。具体而言，LXD具有以下优点：

在现有网络功能虚拟化环境中逐步部署物联网平台，
更高效的物联网功能资源，
在需要时提供更好的横向扩展性以实现更优的性能，
能够在路径安全的基础设施上动态部署的能力，
更轻松地分别开发和改进每个物联网功能模块。

虚拟物联网特定服务功能的全部潜力在很大程度上依赖于根据潜在需求对计算资源进行动态重构，只有在以下条件下才能实现虚拟物联网服务功能实例已得到正确编排。随后，介绍了架构中使用的各个组件。

物联网平台管理层 (IPML) 是一个管理层，拥有当前在云中运行的物联网服务虚拟化容器镜像的完整视图。物联网服务切片器负责实例化vIoT‐SSFs。通过该层，物联网解决方案提供商和管理员可以通过OSM及附加日志了解当前系统中运行的物联网切片服务的状态。
物联网中心服务策略 (ICSP) 可以提供关于整个物联网系统的所有物联网功能和服务需求的策略。此外，它应具备OSM与物联网切片服务管理器之间的接口，这些接口了解需作为Juju charm应用在MEC ETSI平台上实例化虚拟物联网服务功能实例时所使用的抽象物联网服务镜像列表。它还负责发送命令和执行数据同步。因此，有关部署边缘节点上请求的资源信息可反映在 ICSP中，以便物联网解决方案提供商或管理员可根据部署站点所需的资源类型按需请求持续更新或扩展部署。
物联网切片服务管理器 (ISSM) 负责处理来自ICSP的与容器相关的请求。ISSM负责创建并存储一个物联网功能注册表，以抽象容器镜像。这些信息被转换为 JSON格式，以便Juju charm在OSM于MEC ETSI基础设施上实例化vIoT‐SSF后，能够传递用于构建镜像的 Docker Compose文件参数。ISSM提供了一组API集合，供管理员发送有关要选择的物联网切片服务及其关联的虚拟化技术类型的命令。
虚拟化容器和CSF（VCSF） 是一个存储库，用于根据物联网部署目标中的嵌入式资源存储物联网功能的镜像。虚拟机物联网功能可以在高资源的私有云上按需运行。我们可以将无服务器架构的概念定义如下：容器和轻量级虚拟物联网功能可在轻量级资源的物联网部署目标上运行。每个运行物联网服务所需的基本物联网功能的镜像均被存储，且虚拟化技术允许它们列出资源需求。此外，根据特定需求，由物联网平台标准的第三方开发的额外组件（如大数据分析算法或入侵检测系统）也可能存储在VCSF中。在此轻量级资源背景下，例如， Docker可作为容器技术使用。Docker使用Docker镜像来运行容器。Docker提供了一种在容器中隔离运行应用程序的方式，其中镜像打包了每项服务所需的所有依赖项[46]。此外，VCSF中创建的镜像在与物联网相关的虚拟网络功能启动后将以容器形式实例化。
**

C. 部署物联网切片功能工作流流程

图3展示了一个典型用例：一个基于oneM2M的物联网平台，向租户（或物联网用户界面消费者）提供 oneM2M资源的服务。市议会拥有虚拟化基础设施，但在第一步中（如图3中标记为带圆圈数字1所示），需要将物联网资源作为切片服务提供给不同的市政领域，例如警察、国土安全、公共交通公司、国内能源供应商以及市场协会（商店或购物中心）。市议会通过物联网解决方案提供商提供的图形用户界面（GUI），定义支持物联网应用的服务类型和资源基础设施类型的高级策略，以便物联网解决方案的租户能够在物联网平台部署过程中管理其策略。执行此操作后，高级物联网需求被存储在物联网平台管理和编排系统中。随后，该系统开始供应虚拟物联网特定服务功能（vIoT‐SSFs）。虚拟化的类型架构根据物联网用户（市议会）的需求，结合物理硬件或虚拟机管理器的位置和资源限制进行选择，由后者负责启动和实例化虚拟物联网服务功能实例（vIoT‐SSF实例）。在第二步（带圈数字2）中，虚拟网络功能管理器（VNFM）定义虚拟物联网CSFs功能描述符（VIoT‐CSFD）。OSM MANO对虚拟物联网特定服务功能（vIoT‐SSFs）进行实例化，并在虚拟化基础设施上运行。随后，在第三步（带圈数字3）中，虚拟物联网服务功能实例通过查询MEC平台的服务注册表来发现MEC平台，以暴露MEC物联网服务。该服务被暴露后，可在另一次第三步（带圈数字3’）中使机器对机器设备发送M2M资源发现请求。物联网应用专用节点（此处为在oneM2M应用实体上运行的自动驾驶应用）在访问vIoT‐SSF实例的过程中，向MEC平台发送请求。该请求首先在第四步（带圈数字4）被转发至MEC物联网代理服务。在检查来自物联网应用专用节点（ADN）请求中所需的物联网微服务和物联网服务后，MEC物联网服务在第五步（带圈数字5）将物联网设备请求传递给vIoT‐SSF实例，以创建 CSF微服务。vIoT‐SSFs实例可访问CSF镜像仓库以下载容器镜像。在下载相关容器镜像后，vIoT‐SSFs实例现在可在第六步（带圈数字6）启动虚拟CSF。物联网应用专用节点（ADN）可使用虚拟CSF服务。

示意图2

D. 物联网服务切片功能的配置

对于vIoT‐SSF而言，生命周期管理的配置是最关键的挑战之一。在本研究中，我们采用OSM作为NFV MANO。vIoT‐SSF的配置依赖Juju作为虚拟网络功能管理器（VNFM）。Juju与OSM结合在执行一系列配置脚本时具有灵活性优势。这些配置脚本被称为“代理 charm”，并在OSM VNF描述符中直接描述。使用 Juju的一个缺点是在配置工具以支持vIoT‐SSF创建来服务MEC物联网任务时，Juju引入了开销。因此，采用 Ansible作为VNFM的替代方案，以解决Juju代理 charm带来的开销问题。

启动物联网资源服务意味着启动所有符合vIoT‐SSF 服务所需oneM2M资源的物联网功能。我们对Mobius平台[47]的实现工具进行配置，因为Mobius服务器平台向 oneM2M平台架构暴露了功能。在我们的解决方案中，我们按以下步骤执行此操作：（i）第0天配置：在此步骤中，我们通过cloud‐init技术从Ubuntu云镜像启动，提供vIoT‐SSFs所需的所有软件和配置。在第0天配置结束时，我们将交付一个完全可运行的vIoT‐SSF，该功能在网络边缘提供所需的物联网功能。借助cloud‐init技术，安装了一组必需的软件包：注入SSH密钥、设置主机名、配置网络设备以及添加用户和组。（ii）第1天配置：通过第0天配置执行的第一种配置类型在实例初始化以支持虚拟物联网特定服务功能后停止。接下来，第二种配置为虚拟物联网特定服务功能的生命周期管理（ LCM）提供了配置机制。为了实现这一目标，我们使用了由OSM MANO框架提供的虚拟网络功能管理器（ VNFM），即Juju。而第1天配置则至关重要，可避免物联网服务的重新启动。例如，我们需要完成平台服务所需组件的全部安装，以便物联网设备能够自动连接到虚拟物联网特定服务功能。

OSM 定义了通过第0天配置来构建初始包的接入流程。该初始包通过 Juju 配置所需的功能。Juju 使我们能够在 vIoT‐SSF 上执行由 OSM 提示的一系列设置操作（例如停止、启动、设置规则），并利用 OSM 中的 Juju 代理 charm（如图4所示）。代理charm 是运行在 LXD 容器（一台 Linux 机器）内的虚拟实例，负责对 VNFs 执行管理操作。该代理charm 虚拟实例包含一系列 Python 脚本和库，可通过 SSH 协议实现 Juju 代理虚拟实例与已配置的 vIoT‐SSF 之间的通信。代理charm 执行库中的 Python 代码以管理 vIoT‐SSFs。所需的一系列脚本及初始操作已预先打包在指定的 VNF 描述符（VNFD）包中。简而言之，采用此方法后，每个 vIoT‐SSF 都拥有一个代理charm，开发者可在无需修改 VNFM 层任何内容的情况下灵活地自定义 VNF 配置。为了在网络边缘卸载物联网功能，我们选择了包含基于Ansible 的代理charm 层。这意味着代理charm 可基于 Ansible playbook 自动部署。

playbook 是 Ansible 所使用的语言中用于描述在虚拟实例上执行的操作（称为任务）的文件描述符。换句话说，playbook 本质上是一系列任务的收集。使用 Ansible 最显著的优势在于其灵活性，能够简便地安装软件包并执行使用YAML Ain’t Markup Language（YAML）描述符对虚拟实例执行所有必需的操作。在本研究中，通过加载Ansible playbook文件中的所有任务，使用基于Ansible的方法来完成将Mobius平台（https://github.com/IoTKETI/Mobius.git）设置为虚拟物联网特定服务功能（vIoT‐SSFs）的软件包部署。唯一需要额外执行的操作是将Ansible charm上传至 vIoT‐SSFs的虚拟网络功能包描述符（VNF package descriptor）的第1天原语（Day‐1 primitives）。用于配置的 Ansible charm通过Juju实例（模型）进行加载。在本研究中，我们设计了一组playbook，能够执行vIoT‐SSFs所需的所有第 1天配置任务。物联网中心服务策略负责通过Ansible调用正确的配置，因此我们能够在vIoT‐SSFs的生命周期内利用此机制对其进行重新配置。Ansible还可扩展以与Docker结合使用。

示意图3

IV. 边缘计算上虚拟物联网服务功能的MEC物联网弹性计算算法

在本节中，我们描述了将弹性计算技术应用于 vIoT‐SSF作为MEC物联网实例的一组MEC物联网任务的方法。首先，我们提出了弹性计算模型，将vIoT‐SSF和 MEC物联网任务中的元素映射到弹性计算方法中。每个 vIoT‐SSF以及为MEC物联网应用提供以执行其请求的相关物联网功能都关联有一组参数。为简化起见，MEC物联网任务信息从MEC物联网网关接收，然后通过代理消息服务转发至vIoT‐SSF。随后，我们提出了一种在 vIoT‐SSF上运行的弹性边缘计算算法。该算法在MEC ETSI基础设施中高效地为大约 k个多接入边缘计算物联网应用提供支持，以服务由物联网设备或物联网应用上传的多接入边缘计算物联网任务。对于每一个到达的 MEC物联网任务，必须请求相应的物联网功能来支持该任务。请求某些物联网功能会产生一定的资源成本。目标是决定服务哪些MEC物联网任务，使得按顺序出现的请求能够以虚拟物联网服务功能资源的最小可能成本得到服务。为了将MEC物联网任务建模为虚拟物联网服务功能的输入，该算法构建了一个模型，即虚拟物联网服务功能尝试向在边缘计算上运行的多接入边缘计算物联网应用提供物联网功能资源（服务）。作为输入的MEC物联网任务会触发代理消息，以更新虚拟物联网服务功能并响应相应的物联网功能。我们假设在多接入边缘计算框架中，虚拟物联网服务功能拥有一份用于在边缘服务MEC物联网任务的物联网功能列表，并且无法预知后续的MEC物联网任务。

我们考虑一种情况，即一个新的MEC物联网应用程序在边缘计算的MEC平台控制下请求物联网服务。代理应随着来自不同物联网应用领域的新MEC物联网任务的到来而更新虚拟物联网服务功能。当一个新的MEC物联网应用程序在特定的边缘计算区域发现物联网服务时， MEC平台通过MEC网关将MEC物联网应用程序的任务信息转发给vIoT‐SSF。vIoT‐SSF交换各种信息是至关重要的，例如设备所需的位置、移动状态（例如，在车辆）的情况下的位置、网络边缘处下一个vIoT‐SSF的位置以及任务的可能处理时间。

在边缘计算中，当vIoT‐SSF为不同的MEC物联网任务提供物联网功能时，其计算资源的稳定性水平等于已供应的物联网功能在MEC平台上支持MEC物联网任务所花费的时间总和。计算资源的稳定性水平通常取决于 MEC物联网应用程序的序列。MEC物联网任务的到达序列将影响物联网功能的供应。本研究的目标是为 vIoT‐SSF设计一种基于算法的弹性计算，以使vI oT‐SSF能够服务于物联网应用或节点通用服务的MEC物联网任务，这些任务消耗由网络边缘的MEC ETSI基础设施上vIoT‐SSF提供的物联网功能。

因此，在MEC平台上实例化的多接入边缘计算物联网应用程序数量事先未知，只有在与MEC平台交换或收集多接入边缘计算物联网任务信息时才会逐步显现。我们仅处理当前的多接入边缘计算物联网应用程序流，因为对我们而言，新的多接入边缘计算物联网任务流的到达顺序无法提前获知，而是逐渐揭示的。在MEC ETSI网络功能虚拟化基础设施中，虚拟物联网服务功能的架构获取多接入边缘计算物联网任务输入，且在获取所有多接入边缘计算物联网任务的知识时不产生延迟。面向边缘计算的虚拟物联网服务功能弹性计算不仅需要应对未来多接入边缘计算物联网任务知识缺失的问题，还需处理关于前述（多接入边缘计算物联网任务）所请求的物联网功能信息不完整的问题。

最优弹性计算关注如何在vIoT‐SSF的 k个物联网功能上最优地调整MEC物联网任务 T=t1, t2, t3,…, tN的工作负载，以最小化总处理成本，其中每个MEC物联网任务具有不同的实时约束和一般不同的工作负载。弹性计算通过采用MEC物联网任务的任务调度来设计。从概念上讲，该弹性计算任务可以分解为两个步骤： 1）将任务集 T划分为 k个子集 Ti，并找到所有子集与所有虚拟物联网特定服务功能之间的完美匹配。2）对于分配给虚拟物联网服务功能上特定物联网功能的每个 Ti，制定最优处理调度，以最小化其虚拟物联网服务功能记录的总处理成本。如果划分步骤执行得当，则整体任务调度将使T的总成本最小。

每个MEC物联网任务 ti由一个3元组（si , ti , li）定义，其中 si表示完成任务 ti的可用时间，包括其截止时间。例如，任务的时间点集合[si , ti]表示任务 ti必须在与任务 ti相关的时间约束内处理的时间窗口。此外，li定义了任务工作负载。每个由一个网络服务组成的vIoT‐SSF可独立支持任务，并服从相同的工作负载成本函数 f(r)，即以处理速率 r提供物联网功能（资源）的处理成本。任务集 TS的一个调度包含针对每个任务 ti 的 N 3元组 ti =（ai , bi , ni ），其中 ai 和 bi 分别为开始时间和结束时间， ni 表示分配的物联网功能的工作负载。关于工作负载成本函数 f(r)，我们做出以下假设：1）对于任意正数 r， f(r) > 0 ；2）f(r)在 r中持续增加；3)f(r)在 r上是严格凸的，即对于 ∀r1 > 0， r 2 > 0： f(r 1 )+f(r 2)2 ≥ f( r 1 −r 2 )

理想情况下，每个MEC物联网任务都应在尽可能低的计算资源速率下完成，以最小化总成本。然而，延迟一个任务可能会显著增加其他任务的成本，从而可能增加所有任务的总工作负载成本。

A. MEC物联网任务完成时间

集合 T 包含来自多接入边缘计算物联网实体的任务；任务到达是相互独立的。对于 T 中的每个任务 i，其完成时间任务在虚拟机和容器运行环境上运行的虚拟物联网服务功能的定义如下

$$
T_i =
\begin{cases}
T_{VM}, & \text{VM-vIoT-SSF} \
T_{container}, & \text{CNT-vIoT-SSF}
\end{cases}
\quad (1)
$$

完成时间表示虚拟物联网服务功能在虚拟化运行环境中完成MEC物联网任务的时间。如果任务在虚拟机中执行，则完成时间通过以下方式计算

$$
T_{VM}^i = R_{VM}^i + \frac{D_i}{B_{VM}} + RTT, \quad (2)
$$

其中，$ R_{VM}^i $ 是虚拟机‐虚拟物联网服务功能中的任务执行时间，$ D_i $ 表示接收任务和分配物联网功能的数据量，$ B_{VM} $ 是带宽，RTT（往返时间）是网络延迟。通常认为，虚拟机‐虚拟物联网服务功能具有充足的资源容量。

在容器运行时执行任务的情况较为复杂。通过容器，物联网功能以利用微服务概念的互联容器形式实现隔离。在vIoT‐SSF上运行于容器中的物联网功能可被视为表示一个网络拓扑 $ G=(V, E) $，其中集合 $ V $ 表示用于物联网功能的互联容器。因此，注册API网关可在将请求传递给不同服务时实现最低延迟。如果一项任务被分配给容器 $ v_{mr} \in V $ 上vIoT‐SSF的特定微服务（物联网功能），则其完成时间为

$$
T_{CNT}^i = R_{mr}^i + W_{mr}^i + \frac{D_i}{B_{mr}} + RTT_{mr}. \quad (3)
$$

事实上，CNT‐vIoT‐SSFs具有有限资源，任务应包含等待时间 $ W_{mr}^i $。因此，完成时间包括在 $ v_{mr} \in V $ 上的任务执行时间 $ R_{mr}^i $、等待时间 $ W_{mr}^i $ 以及通信时间 $ \frac{D_i}{B_{mr}} + RTT_{mr} $。

B. 弹性计算目标

为了形式化不同平台上的完成时间，我们定义一个分配向量 $ A=(1,2) $ 来表示任务是否被分配到基于 vIoT‐SSF的虚拟机运行环境。在这个向量中， $ A_1 $ 表示任务是否在虚拟机上执行， $ A_2 $ 表示容器运行环境；值1代表 yes，否则为0。例如， $ A=(0,1) $ 表示该任务在容器运行环境中执行。

$$
S_p^i = \frac{R_{CNT}^i}{AT_i}. \quad (4)
$$

然后，对于 T 中的所有任务，弹性计算的目标是最大化以下表达式：

$$
S_p^i = \left(\sum_{i \in J} \frac{R_{CNT}^i}{AT_i}\right)/N, \quad (5)
$$

平均弹性快速配置，其中 N表示MEC物联网任务数量。具体而言，对于每个任务 i，$ S_p^i $ 应大于1，这意味着弹性计算应提升其在vIoT‐SSF容器运行时的性能。

C. MEC物联网弹性计算算法

MEC物联网应用是向MEC平台上传处理请求或任务的实体（节点）。每个虚拟物联网服务功能（vIoT‐SSF）充当服务器，向MEC平台暴露物联网功能，以服务于多个MEC物联网应用程序，前提是虚拟物联网服务功能资源的稳定性水平与分配给服务的资源量相匹配。每个新的 MEC物联网应用将需要一个以上的物联网功能。一旦 MEC物联网应用被实例化并开始与MEC平台交互，后者会检查边缘站点上是否存在虚拟物联网切片服务功能（ vIoT‐SSF）。如果存在，则MEC物联网网关会将请求传递给代理消息服务；否则，MEC平台会尝试连接到下一个MEC平台来处理当前MEC物联网应用的请求。当通过 vIoT‐SSF提供物联网功能时，MEC物联网任务将被处理。如果vIoT‐SSF实例（作为物联网平台运行）具有足够的计算资源，它将立即选择MEC物联网任务（第2行）；否则，vIoT‐SSF会通知MEC平台当前状态为“无更多物联网任务”。如果MEC物联网应用未提交任务（在MEC平台确认MEC物联网应用的代理之后），状态将设置为 “等待新任务”。如果当前MEC物联网应用上传了新任务，任务完成时间将取决于vIoT‐SSF中配置的虚拟化运行环境类型。任务完成受计算资源水平降低的影响。

在边缘计算中，仅当vIoT‐SSF的资源水平高于某一阈值时，才会纳入新的MEC物联网应用。当MEC平台在边缘计算中提供物联网功能以服务MEC物联网应用时，随着MEC物联网应用在边缘计算中的实例化，其所包含的MEC物联网任务数量会影响请求内容，从而降低 vIoT‐SSF的资源水平。在理想的弹性计算情况下， vIoT‐SSF在通过代理消息传递某些MEC服务信息时，不会降低其计算资源水平。然而，vIoT‐SSF在纳入新的 MEC物联网任务时，通常会因其任务中携带的相应请求信息而损失计算资源。因此，该算法旨在找到一个满意的方案，决定为MEC物联网任务征召哪些物联网功能，从而使MEC平台托管的所有MEC物联网应用都能以最小的 vIoT‐SSF计算资源开销得到服务。

示意图4

示意图5

V. 实验评估

我们评估了所提出的用于边缘计算的弹性MEC计算算法以及在使用OSM MANO的测试平台上对vIoT‐SSF的实例化。本节讨论并比较了在符合ETSI标准的MEC节点上，不同NFV策略与物联网公共服务相结合的有效性。在首次实验评估中，我们评估了所提出的扩展策略在不同 NFV自动扩展策略下，特别是针对服务功能链（SFC）的端到端延迟和预估成本。根据自动扩展策略，自动扩展器可以增加或移除虚拟化资源（横向扩展（扩容/缩容））。自动扩展器的另一个特性是重新配置容量大小现有的虚拟化资源（垂直扩展）[48]。在实验评估的第二部分，我们基于OSM MANO评估了物联网管理和编排框架，以在两种不同场景下实例化vIoT‐SSF：虚拟机场景和容器场景。这两个实验评估展示了边缘计算研究中物联网服务层虚拟化的潜在概念。对于评估的第一部分，我们使用了Self‐Stabilization‐Edge‐Simulator [49]，这是一个针对边缘计算范式的离散事件模拟器。它通过描述边缘计算基础设施，为建模和评估分布式算法提供了灵活性。为此，我们定义了一个场景，用于指定vIoT‐SSFs之间的连接方式、其特性（带宽、网络延迟、内存、中央处理器等），以及表示为物联网任务的外部事件。每个任务都具有包含特定操作（例如发送数据包）的工作负载。

A. 实验1：面向虚拟物联网服务切片功能的网络功能虚拟化/ 虚拟网络功能中的弹性多接入边缘计算策略

第一个实验在单个边缘云数据中心内，针对不同的SFC自动扩展策略评估了所提出的弹性MEC计算算法。在此场景中，我们构建了一个小规模的边缘数据中心，包含四台物理机，其中两台位于中心区域，另外两台位于北部区域。边缘设备通过一个边缘交换机、一个汇聚交换机和一个核心交换机连接到云数据中心。我们考虑了每个区域中不同数量的物联网终端设备，例如智慧城市的场景（20、100 和 200 台设备）。同一区域内边缘主机之间的链路延迟约为10毫秒，而两个边缘主机区域之间的延迟约为100毫秒。每台边缘设备上部署了四个虚拟物联网切片服务功能（vIoT‐SSFs）。对于虚拟物联网切片拓扑，我们参考了一个符合开源平台 oneM2M标准的Mobius平台服务器。该平台包含三个主要软件应用程序：数据库（MySQL）、代理（MQTT）以及包含oneM2M CSFs的Web服务器，这些组件使用node.js 实现。系统中包括两个Web服务器（Node.js）、一个 MQTT代理和一个数据库。所有服务器均以虚拟机（支持虚拟物联网切片服务的VNFs）的形式创建。这些VNFs构成一个网络服务切片（NS slice）。

该行为模拟了多个物联网设备实体与单个虚拟物联网服务功能（vIoT‐SSF）相关联的场景。多接入边缘物联网（ MEC‐IoT）弹性计算算法的属性是分配用于处理来自物联网设备任务的虚拟物联网特定服务功能（vIoT‐SSFs）的数量。此外，在接收到与物联网任务相关的原始指标聚合函数后，聚合函数将在虚拟物联网特定服务功能（vIoT‐SSFs）中执行。为 MEC物联网弹性计算算法在虚拟物联网服务功能（vIoT‐SSF）中可用的资源包括10 Mbps带宽、1个虚拟CPU和2 GB内存。

1) 物联网应用节点发现、部署和加入虚拟物联网服务功能

图5比较了应用专用节点（ADN）发现虚拟物联网服务功能资源、通过发送请求加入虚拟物联网服务功能以及从虚拟物联网服务功能接收适当资源的成本。我们限制了物联网发现并请求 vCSFs 部署 vCSFs 物联网应用节点发现并请求 vCSFs

物联网应用节点每次尝试加入虚拟物联网服务功能（边缘节点）时，会向四个节点发送任务；如果失败，物联网节点将尝试连接地理区域内次优的边缘节点。作为参考，发送MEC物联网任务请求并接收响应的往返网络延迟约为 4毫秒。如图5所示，在发现虚拟物联网服务功能资源并将服务部署到物联网应用专用节点的过程中，信息延迟存在显著方差。部署vCSFs操作的最低25%延迟小于312毫秒，而将CFS部署到物联网设备的最高25%延迟则超过821毫秒。观测到的最低延迟接近可能的最小值74毫秒。这种巨大差异主要源于机器状态和虚拟化技术，特别是容器技术的使用情况。虚拟机假设用于处理的四台服务器均处于运行状态，尽管边缘主机分配的资源相较于容器使用更为充足。使用容器需要拉取容器镜像，并等待容器镜像进入运行状态。如果镜像尚未启动，Docker工具将从注册表中拉取。而当使用虚拟机时，只需加载相应数量的虚拟网络功能，即可实现更快的响应。

图6显示了选择并切换到新的边缘站点的平均开销（单位：毫秒）。当物联网终端设备无法发现支持 vIoT‐SSF的物联网切片时，就会发生这种情况。该测量值是在虚拟物联网切片无法处理物联网任务时记录的。随后，前者被打包并发送到新的多接入边缘计算节点。如图 6所示，与物联网应用程序节点能够发现 vIoT‐SSF实例（单跳通信）。因此，当MEC平台将请求迁移到任何新的MEC平台时，高延迟约为2095毫秒。

2) 边缘物联网切片的自动缩放策略

在此场景中，我们评估了三种算法（无缩放最小算法、无缩放最大算法和自动缩放算法），并将它们与本研究中提出的弹性多接入边缘计算策略进行比较。无缩放最小算法和无缩放最大算法的配置应用于不同的vIoT‐SSFs。在无缩放最小算法中，弹性策略功能被关闭，并在整个实验持续时间内为 vIoT‐SSFs分配最小资源。因此，vIoT‐SSFs始终资源不足，导致vIoT‐SSF队列中的物联网任务被延迟。另一方面，无缩放最大算法的特点是为所有vIoT‐SSFs分配大量计算资源。在自动缩放策略中，我们假设在仿真期间，初始资源分配与无缩放最小算法相同。自动缩放算法持续监控VNF资源利用率，并在资源利用率超过定义阈值时逐步增加规模。在本研究中，阈值设置为70%，以允许所提出的算法执行扩缩容操作并避免实验期间的波动。首先，我们测量提交到vIoT‐SSF的工作负载的响应延迟，如图7所示。测量了平均端到端响应时间。正如预期，由于资源不足，无缩放最小策略导致异常长的响应时间。另一方面，在无缩放最大策略中观察到显著方差：25%的缩放操作耗时少于120毫秒，而最高的25%延迟超过1000毫秒。在无缩放最大策略中延迟较短，因为为运行在虚拟机中的 VNF分配了充足的资源。在基于MEC弹性计算的所提出的自动缩放策略中，观测到的最高延迟为853毫秒。如图所示，所提出的缩放方法比无缩放最小算法更高效，但观测到的延迟是自动缩放策略的两倍。所提出的MEC弹性计算与无缩放最大算法之间的观测差异并不显著。

示意图6

示意图7

B. 实验2：使用VNF管理工具基于oneM2M开源平台（ Mobius平台）实例化虚拟CSF

我们假设vIoT‐SSFs利用虚拟化技术：虚拟机和容器。物联网服务切片在实验中进行设置。物联网服务切片由 OSM MANO在网络边缘与多接入边缘计算系统一起实例化。MEC主机和vIoT‐SSF中的物联网切片通过OpenStack作为虚拟化基础设施管理器在同一虚拟化基础设施上实例化。物联网服务切片代表一组由OSM MANO编排和管理的虚拟物联网特定服务功能。vIoT‐SSF表示由oneM2M标准支持并通过MQTT服务器为发布‐订阅操作提供机器对机器（ M2M）应用程序服务的Mobius服务器平台。关于虚拟化环境，我们定义了两种场景：（i）虚拟机。基于内核的虚拟机（KVM）允许宿主机器运行隔离的虚拟机。OSM支持 OpenStack作为VIM。创建VIM账户，以便OSM能够在宿主机器上编排虚拟网络功能。（ii）容器：使用容器，我们评估采用Docker作为虚拟化技术以及vim‐emu作为VIM （https://osm.etsi.org/wikipub/index.php/VIM emulator）的vIoT‐SSF配置。

1) 虚拟机场景

在此场景中，我们使用虚拟机和 OpenStack VIM来评估vIoT‐SSF的物联网切片服务实例化时间以及第1天配置所需的时间。我们还执行了上述两种类型的配置。通常情况下，由于使用镜像，必须采用基于cloud‐init的第0天配置。我们使用cloud‐init以避免在 VIM处实例化时预制作镜像带来的挑战。因此，我们在图 8中展示了根据Juju charm中需运行的playbook任务数量变化的实例化时间趋势。资源启动时间（cloud‐init镜像）约为2.5分钟。vIoT‐SSF包含Mobius服务器平台。在VNF描述符内，通过基于Ansible的charm应用运行 playbook。Ansible playbook文件包含在NS启动时配置的任务。为配置Mobius oneM2M服务器平台，共运行了40到60个任务。playbook中的任务

示意图8

vIoT‐SSF数量	由于开销导致的延迟时间（秒）
10	401
20	782

书籍的选择遵循了GitHub仓库（ https://github.com/IoTKETI/Mobius.git）中所述的 Mobius平台服务器设置说明。虚线（亮蓝色）表示虚拟机所需资源的实例化时间以及Ansible Juju代理charm执行Day‐0 playbook文件中任务的启动时间。

在图9中，亮蓝色（连续）线表示物联网切片服务向物联网设备暴露物联网通用功能所需的总时间。如图所示，本例中使用Ansible工具（来自另一个独立的宿主机器）进行配置的时间范围为1–15分钟。cloud‐init配置与运行代理和Ansible Juju charm的虚拟实例（LXD）的配置并行执行。10分钟的配置时间少于使用Ansible工具所需的时间。该时间取决于playbook文件中针对vIoT‐SSF的具体任务，在首日配置期间，我们随机使用推荐的软件包来设置Mobius服务器，并为playbook文件中的每个 Ansible任务设置不同的参数。使用Juju charm运行 Ansible playbook所需的时间取决于配置vIoT‐SSFs所需软件的Ansible任务数量，且随着Ansible任务数量的增加几乎呈线性增长。因此，SSH代理和Juju Ansible在首日配置中表现良好。

我们评估了Ansible Juju charm在playbook文件中特定任务配置时间上引入的开销。表II显示，Ansible Juju charm引入了显著的延迟，在需要运行大量 playbook任务以实现虚拟网络功能配置的场景中，不适合用于Day‐1配置。与其他编排方式相比，Ansible 在某些情况下，被认为是在配置虚拟网络功能时的最佳工具 [50]。在当前场景中，可以通过为Mobius服务器的核心元素创建多个容器镜像来缓解此问题。与使用playbook文件中准备的命令（作为任务）逐个构建核心元素不同，通过容器化技术，可先创建相应类型核心元素的容器镜像，然后再进行配置。

2) 使用vim-emu的容器场景

OSM MANO提出了一种VIM，可实例化容器运行环境而非虚拟机。该功能的引入旨在实现OSM MANO内的Docker容器编排。我们根据实现物联网通用功能的服务，部署了一组用于 vIoT‐SSF的容器化镜像。我们评估了实例化及第0天配置所需的时间。在此情况下，每个vIoT‐SSF服务的第0天配置均使用Dockerfile。如图10所示，容器的实例化时间在性能方面表现出显著下降。蓝线表示使用Docker实例化容器。20个运行中的CSF容器的配置时间约为0.8分钟。

示意图9

VI. 结论

本文描述了一种物联网平台管理框架的设计，考虑到每个物联网切片代表一个虚拟化的独立端到端物联网通用功能。这些功能由物联网平台提供商并行地向位于网络边缘的不同虚拟化架构中的物联网终端用户和终端设备提供。我们解决了两个问题：在NFV管理和编排（NFV MANO）中虚拟物联网服务功能（vIoT‐SSF）的供应，以及在网络边缘多接入边缘计算（MEC）中vIoT‐SSF计算资源的弹性。利用这一概念，物联网平台能够动态地在地理上分布的多个MEC服务器平台上定制部署物联网功能，以满足具有特定需求的物联网应用的服务质量（QoS）。我们提出了一种虚拟物联网切片服务编排的框架架构。该框架的高层架构集成了两个主要元素：物联网平台管理和支持MEC的NFV基础设施。该框架利用OSM的能力，通过Juju VNFM、Juju代理charm和Ansible来编排虚拟物联网特定服务功能。我们还提出了MEC物联网弹性计算算法，用于扩展虚拟物联网特定服务功能的资源。性能评估表明，所提出的弹性计算算法相比 VNF的NoScale‐Min自动伸缩策略能够更高效地进行扩展。