28、边缘云连续体中工作负载部署编排的分类法

边缘云连续体中工作负载部署编排的分类法

1. 分类法概述

我们确定了六个高级概念，它们构成了边缘云连续体中工作负载部署编排的通用问题空间，分别是：工作负载、调度、行为建模、数据、环境和参与者。将这些概念进一步细分后，能够识别和描述特定的问题实例。

2. 各概念详细介绍

2.1 工作负载

工作负载涵盖了正在被编排的资产，通常是应用程序，但也可能包括数据收集或移动，以及物理资产的虚拟表示。
- 状态区分 ：有状态应用（为成功运行而持久存储数据）和无状态应用面临不同挑战。
- 时间跨度 ：一次性运行直至完成的作业、周期性作业和永久运行的作业需要不同的工作负载策略机制。
- 触发和数据处理 ：作业的触发者以及处理批量或流式数据的方式也存在差异。
- 工作负载组成 ：单体式与分布式等不同组成方式带来不同挑战。
- 拓扑结构 ：数据流和基础设施存在不同拓扑，如对等数据流动和分层客户端 - 服务器通信。

工作负载的详细分类如下表所示：
| 分类维度 | 具体类型 |
| ---- | ---- |
| 数据流动拓扑 | 对等、分层客户端 - 服务器等 |
| 灵活性 | 可推迟、可扩展、可迁移等 |
| 规模 | 单工作负载/单体式、分布式等 |
| 地理空间和时间 | - |
| 资源使用 | CPU、GPU、TPU、RAM等 |
| 架构 | 有向无环图/结构化、去中心化/共置等 |
| 类型 | 虚拟（物理资产表示）、能源、设备约束等 |
| 时间跨度 | 周期性、连续性、一次性 |
| 应用状态 | 有状态、无状态 |
| 数据处理方式 | 批量、流式 |

2.2 调度

调度涵盖了编排器采用的调度范式的方法和手段。调度通常通过算法实现，一般由用户定义，也有混合方法，即有人参与验证、批准或提供反馈。调度器依据观察到的输入指标、一组策略和约束条件，通常针对一个或多个目标进行优化。根据参与者模型和环境约束，调度解决方案可以是集中式（节点间有代理或类似中间件）或分布式（节点作为独立参与者）。

调度的详细分类如下：
| 分类维度 | 具体类型 |
| ---- | ---- |
| 架构 | 集中式、分布式、混合式 |
| 指标/目标 | 数据质量、成本、碳足迹、网络安全等 |
| 策略/约束 | 物理约束、组织策略等 |
| 策略 | 自动化、用户定义/手动、混合/有人参与、基于数学模型、基于启发式、基于机器学习、混合、基于市场/协调 |
| 位置 | - |
| 领域约束 | - |
| 调度通信开销 | - |
| 资源相关 | 利用率、可用性、能源等 |
| 性能相关 | 磁盘、计算速度、可靠性等 |
| 任务相关 | 重调度、任务抢占、任务重调度 |

2.3 行为建模

行为建模确定了在部署编排中使用建模方法的方式。可应用于许多部署编排挑战，如工作负载特征化（监测工作负载资源使用以构建通用模型）和实现计算一致性的特定目标（如异常检测技术）。

行为建模的方法和类型如下表：
| 方法 | 类型 |
| ---- | ---- |
| 网格搜索、假设检验、（协同）模拟 | 工作负载特征化、性能分析、依赖检查、异常检测、手动 |

2.4 数据

数据涉及在边缘云连续体的部署编排过程中，数据的存储、访问、使用、监控和管理的不同方式。需要考虑安全领域的特定挑战，如管理机密、处理隐私敏感数据和访问受限数据。此外，数据位置可因各种目的而改变，如数据引力、缓存、迁移或备份。

数据的详细分类如下：
| 分类维度 | 具体类型 |
| ---- | ---- |
| 质量 | 健康、大小、位置等 |
| 元数据管理 | - |
| 迁移与备份 | - |
| 监控 | - |
| 类型 | 文本/数值、二进制、图像、音频、结构化、非结构化、时间序列、视频等 |
| 访问 | - |
| 隐私与安全 | - |
| 引力、局部性与缓存 | - |
| 存储 | 版本、去重、存档、压缩等 |
| 摄取 | 流式、批量 |

2.5 环境

环境描述了承载工作负载的 IT 基础设施的计算上下文和拓扑结构。环境可以是静态不变的，也可以是动态的。编排解决方案需要考虑环境的变化，可能存在于虚拟化环境或裸金属基础设施中，可用的计算和网络资源可能差异很大，甚至长时间不可用。

环境的分类如下：
| 分类维度 | 具体类型 |
| ---- | ---- |
| 计算资源可用性 | 多节点、单节点、多集群、单集群、异构/混合、同构、间歇性连接、无约束/大规模、受限连接、受限处理资源等 |
| 虚拟化 | 容器化、裸金属、虚拟机、微虚拟机（WASM）、unikernel 等 |
| 上下文 | 静态、动态 |
| 基础设施拓扑 | - |
| 资源管理 | 粒度、超额订阅、共享访问、规范等 |
| 隔离 | 进程、网络、数据 |

2.6 参与者

参与者描绘了利益相关者在给定部署编排问题中可能的交互方式。这些参与者可以是最终用户、应用程序提供商或基础设施提供商。他们的交互方式，如独立、协作、竞争或恶意，会给部署编排问题带来额外的约束。

参与者的分类如下：
| 分类维度 | 具体类型 |
| ---- | ---- |
| 交互方式 | 协作、对抗/恶意、竞争、个体/非通信、去中心化/民主化 |
| 拓扑 | - |
| 类型 | 最终用户、应用程序提供商、基础设施/平台提供商、多利益相关者、单利益相关者 |
| 信任关系 | 受信任、授权、分层 |

3. 相关工作对比

其他分类法通常侧重于特定的部署编排方面，与我们提出的分类法相比，都没有完全涵盖边缘云连续体中编排的所有相关方面。多数集中在工作负载概念，部分对调度进行了更深入阐述，但没有包含数据或（多）参与者方面，也没有建立应用和基础设施行为建模的桥梁。

以下是与其他分类法的对比：
| 其他分类法 | 特点 | 与本文分类法差异 |
| ---- | ---- | ---- |
| IoT 部署编排分类法 | 更注重科学文献分析，涉及实现细节 | 本文避免了部分实现细节，更全面 |
| 云资源编排分类法 | 简要涵盖工作负载部署编排，涉及用户类型等 | 本文对工作负载和调度等阐述更详细 |
| 容器化相关分类法 | 涵盖部分编排和资源管理 | 本文不局限于容器化工作负载，强调调度重要性 |
| 无服务器工作负载分类法 | 专注无服务器工作负载 | 本文更通用，不包含计费模型 |
| 集群编排分类法 | 扩展了资源使用相关内容 | 本文更详细描述工作负载类型、灵活性和调度策略，涵盖部署建模、数据和参与者 |
| Kubernetes 编排器分类法 | 特定于 Kubernetes 编排器 | 本文将性能指标视为调度过程一部分，集群属于环境概念 |

4. 使用案例

通过三个使用案例展示和评估了所提出的分类法在联合和自适应云基础设施上工作负载部署编排的适用性。

4.1 敏感数据的本地访问和处理

AI 算法训练或部署需要访问数据源，但敏感数据不能随意共享。可通过隐私增强技术（PETs）实现“数据访问”，如安全多方计算（MPC）和联邦学习（FL）。
- 水平分区数据训练 ：以分布在各医院的医疗数据为例，通过联邦学习在不共享原始数据的情况下训练模型。
- 垂直分区数据训练 ：以智能能源系统为例，利用数据访问技术进行低压电网状态估计。

本案例中，分类法有助于确定调度机制的选择、数据管理的关键绩效指标以及计算环境的要求。

其流程如下：

graph LR
    A[数据提供者] --> B[本地数据]
    B --> C[联邦学习模型训练]
    C --> D[聚合模型]
    D --> E[模型更新]
    E --> C

4.2 云的不同信任和安全级别

涉及敏感数据的组织间数据共享和处理协作，需要考虑云基础设施的信任和安全约束。传统的合同和审计方法在数据协作频繁时变得复杂，新的自动化合规努力如 Gaia - X 旨在解决这一问题。部署编排器需要确保工作负载分布在符合信任和安全约束的云中。

此案例与分类法中的调度概念相关，特别是策略下的安全和信任方面，同时也涉及参与者和环境概念。

其流程如下：

graph LR
    A[组织] --> B[定义信任和安全约束]
    B --> C[选择云服务提供商]
    C --> D[部署工作负载]
    D --> E[监控合规性]
    E --> F{是否合规}
    F -- 是 --> G[继续运行]
    F -- 否 --> H[调整工作负载部署]
    H --> C

4.3 云与边缘基础设施的不可靠可用性

• 5G 网络基础设施 ：依赖边缘或远程云处理能力的应用，可能面临网络可用性差异，需要工作负载自适应调整。
• 军事任务场景 ：战术云联盟面临资源有限、连接不可靠、信任变化等挑战，部署编排需要考虑这些因素。

这些案例涉及分类法中的环境概念（特别是可用性分支）、参与者概念和调度中的信任（和安全）方面。

其流程如下：

graph LR
    A[应用程序] --> B{基础设施是否可用}
    B -- 是 --> C[正常运行]
    B -- 否 --> D[停止、移动或调整工作负载]
    D --> E[等待基础设施恢复]
    E --> B

5. 未来方向

基于分类法和使用案例的结果，确定了两个未来工作方向：
1. 战略去中心化，例如用于自主集群概念以确保整体弹性。
2. 多集群环境中安全飞地的可用性，以实现机密计算场景。

边缘云连续体中工作负载部署编排的分类法

6. 总结与展望

在边缘云连续体的工作负载部署编排领域，我们提出的分类法具有重要意义。它全面涵盖了工作负载、调度、行为建模、数据、环境和参与者这六个关键概念，为解决相关问题提供了清晰的框架。通过与其他分类法的对比，我们可以看到它的独特优势，能够更全面地描述边缘云连续体中编排的各个方面。

从使用案例来看，分类法在实际应用中展现出了强大的实用性。无论是敏感数据的本地访问和处理、云的不同信任和安全级别问题，还是云与边缘基础设施的不可靠可用性挑战，分类法都能帮助我们准确地识别和定义关键的部署编排方面。它为确定调度机制、数据管理指标以及计算环境要求提供了有力的支持。

然而，这一领域仍有许多需要进一步探索和发展的地方。未来的工作将朝着两个主要方向前进：

未来方向	具体内容
战略去中心化	例如用于自主集群概念以确保整体弹性。通过战略去中心化，可以提高系统的抗干扰能力和适应性，使工作负载在复杂环境中更稳定地运行。
多集群环境中安全飞地的可用性	以实现机密计算场景。在多集群环境中，安全飞地的出现将为敏感数据的处理提供更安全的保障，确保数据在计算过程中的隐私和完整性。

为了更直观地展示未来工作的方向，我们可以用以下 mermaid 流程图表示：

graph LR
    A[未来工作] --> B[战略去中心化]
    A --> C[多集群环境中安全飞地可用性]
    B --> D[自主集群概念]
    B --> E[整体弹性保障]
    C --> F[机密计算场景实现]

7. 对行业的影响

我们提出的分类法将对边缘云连续体中工作负载部署编排行业产生深远的影响。以下是具体的影响方面：

• 提高效率 ：通过清晰地定义各个概念和问题实例，分类法有助于开发更高效的编排算法和策略。这将减少工作负载部署和调度的时间和成本，提高整个系统的运行效率。
• 增强安全性 ：在数据和安全方面的详细分类，能够帮助组织更好地管理敏感数据，确保工作负载在符合安全和隐私要求的环境中运行。这对于涉及敏感信息的行业尤为重要。
• 促进创新 ：分类法为研究人员和开发者提供了一个全面的框架，鼓励他们探索新的解决方案和技术。例如，在行为建模和调度策略方面的创新，可能会带来更智能、自适应的工作负载编排系统。

为了更清晰地展示这些影响，我们可以用表格进行总结：

影响方面	具体描述
提高效率	减少工作负载部署和调度时间及成本，优化系统运行
增强安全性	更好地管理敏感数据，确保符合安全和隐私要求
促进创新	鼓励探索新的解决方案和技术，推动行业发展

8. 结论

边缘云连续体中工作负载部署编排是一个复杂且重要的领域。我们提出的分类法通过全面涵盖六个关键概念，为解决该领域的问题提供了一个有效的工具。使用案例证明了其在实际应用中的实用性，而未来的工作方向则为行业的发展指明了道路。随着技术的不断进步和应用场景的不断拓展，我们相信这个分类法将在边缘云连续体的工作负载部署编排中发挥越来越重要的作用。

在未来的研究和实践中，我们应继续关注分类法的完善和应用，不断探索新的解决方案，以应对日益复杂的边缘云环境。同时，行业各方应加强合作，共同推动边缘云连续体中工作负载部署编排技术的发展，为实现更高效、安全、智能的云计算服务做出贡献。

最后，为了更清晰地展示整个边缘云连续体中工作负载部署编排的流程，我们可以用以下 mermaid 流程图进行总结：

graph LR
    A[工作负载] --> B[调度]
    B --> C[行为建模]
    C --> D[数据]
    D --> E[环境]
    E --> F[参与者]
    F --> G[部署编排]
    G --> H[使用案例]
    H --> I[未来方向]

这个流程图展示了从工作负载到未来方向的整个过程，体现了各个概念之间的相互关系和分类法在实际应用中的价值。通过这个分类法和相关的研究，我们可以更好地理解和解决边缘云连续体中工作负载部署编排的问题，推动该领域的发展。