2、移动边缘网络中的联邦学习教程

移动边缘网络中的联邦学习教程

1. 联邦学习基础

• 概念引入 ：出于数据所有者对隐私的担忧，联邦学习（FL）的概念应运而生。它允许用户在将个人数据保留在自己设备上的同时，协作训练一个共享模型，从而减轻隐私顾虑，可作为移动边缘网络中机器学习（ML）模型训练的使能技术。
• 系统实体 ：FL系统主要有两个实体，即数据所有者（工人）和模型所有者（FL服务器）。设 $N = {1, \ldots, N}$ 表示 $N$ 个数据所有者的集合，每个数据所有者有一个私有数据集 $D_i$。每个数据所有者 $i$ 使用其数据集 $D_i$ 训练本地模型 $w_i$，并仅将本地模型参数发送给FL服务器。然后，所有收集到的本地模型被聚合 $w = \cup_{i\in N} w_i$ 以生成全局模型 $w_G$。这与传统的集中式训练不同，传统集中式训练使用 $D = \cup_{i\in N} D_i$ 来训练模型 $w_T$，即先聚合来自各个数据源的数据，再进行集中式模型训练。
• 训练过程 ：
  1. 任务初始化 ：服务器决定训练任务（目标应用）和相应的数据要求，指定全局模型和训练过程的超参数（如学习率），然后将初始化的全局模型 $w_0^G$ 和任务广播给选定的工人。
  2. 本地模型训练和更新 ：基于全局模型 $w_t^G$（$t$ 表示当前迭代索引），每个工人分别使用其本地数据和设备更新本地模型参数 $w_t^i$。工人 $i$ 在迭代 $t$ 的