31、Cartel：边缘协同迁移学习系统

Cartel：边缘协同迁移学习系统

一、引言

随着连接设备的激增，自 2016 年以来网络流量的复合年增长率达到了 47%，每月从 7 艾字节增长到 49 艾字节。像 Facebook、Google、Amazon 和 Microsoft 等服务提供商依靠机器学习（ML）技术从这些分布式数据中提取和变现洞察。

目前，从地理分布的数据中学习的主要方法是创建集中式模型，即运行 ML 算法处理从不同数据流收集的原始数据或其预处理部分。更复杂的解决方案是在设备本地训练模型，然后在集中位置将这些模型与其他用户更新进行平均，也就是联邦学习。

集中式模型虽然准确且通用，因为它整合了来自多个流的不同数据，但从系统角度来看，移动所有这些数据存在挑战，而且最终的模型大小可能也很可观，这取决于实现方式、算法和特征集大小。随着数据源在地理上分散，网络成为瓶颈，原本在数据中心高效的 ML 算法，在分布到网络边缘时速度可能会减慢多达 53 倍。

新兴的多接入边缘计算（MEC）架构和 5G 连接旨在将电信和云服务在接入网络处融合，有望通过在靠近用户的地方实现前所未有的计算和网络性能来应对上述挑战。

在这种情况下，与集中式学习相对的明显替代方案是在每个边缘云复制算法，并使用本地数据独立运行，与其他边缘云隔离。但在更具挑战性的场景中，例如 ML 模型输入数据的分布非平稳，或者应用需要更复杂的模型时，孤立模型的错误率可能会高得令人难以接受。

因此，虽然 MEC 和 5G 技术为运行分布式机器学习算法提供了基础设施，但我们认为需要一个协调系统，利用边缘资源从逻辑上相似的节点进行协作学习，以减少训练时间和过多的模型更新。

我们在此介绍 Car