33、边缘计算与分布式系统技术解析

边缘计算与分布式系统技术解析

1. 边缘协同转移学习系统 Cartel

在多接入边缘计算（MEC）场景下，传统的集中式系统和孤立系统在处理机器学习任务时存在诸多问题。集中式系统数据移动耗时且占用大量回程网络带宽，分布式机器学习算法的通信开销过大；孤立系统在适应工作负载变化时，模型性能会受到严重影响。

Cartel 系统旨在平衡集中式和孤立系统，利用边缘节点的资源训练定制化的小型机器学习模型，以减少训练时间和回程数据传输，同时保持与集中式系统相近的性能。其主要机制和优势如下：
- 关键机制
- 漂移检测 ：采用基于阈值的漂移检测机制，及时发现输入模式的变化，触发向元数据服务器（MdS）请求逻辑邻居的操作。
- 逻辑邻居发现 ：MdS 通过比较各节点的类先验分布，找出与目标节点相似的逻辑邻居。
- 知识转移 ：包括分区和合并两个步骤，根据不同的机器学习算法（如 ORF 和 OSVM）进行优化。
- 性能优势
- 模型大小 ：对于 ORF 算法，Cartel 平均可将模型大小缩小 3 倍。这是因为定制化模型存储的信息较少，且训练示例总数较少，节点数量增长较慢。对于 OSVM 算法，在不进行进一步压缩的情况下，为部分类训练的模型大小与使用所有类训练的模型大小相同。
- 训练时间 ：ORF 算法由于模型大小减小和本地批量大小变小，训练时间最多可缩短 5.7 倍；OSVM 算法由于