8、面向人类活动识别的异构标签和模型联邦学习

面向人类活动识别的异构标签和模型联邦学习

1. 问题提出

在联邦学习场景中，存在多个本地设备，不同设备可以根据终端用户的需求采用不同的模型架构。同时，不同设备接收到的数据在标签上也存在异构性，标签可能是唯一的，也可能存在重叠。此外，还有一个公共数据集，其标签集包含了所有可能的标签，可被任何设备随时访问，它作为数据和标签的初始模板，在不同的迭代中进行数据流动。为了保证测试的一致性，将公共数据集也用作测试集。并且，为了使联邦学习迭代独立于公共数据集，在本地模型学习（训练）阶段不暴露公共数据集。因此，研究的问题是创建一个统一的框架，以处理联邦学习场景下的异构标签、模型和数据分布（非独立同分布性质）。

2. 提出的框架

提出的用于处理联邦学习场景中异构标签和模型的框架如算法1所示，主要包含三个重要步骤：
1. 构建（Build） ：在这一步中，针对每个本地用户的输入数据（即特定迭代的本地私有数据）构建模型。用户可以选择最适合该迭代数据的模型架构。
2. 本地更新（Local Update） ：更新第i次迭代中本地私有数据上的全局模型平均得分（基于公共数据）。对于第一次迭代，由于没有全局得分，将得分初始化为零。对于后续迭代，根据算法1使用全局平均得分来更新本地模型得分。本地更新提出了两个版本：
- 模型蒸馏更新（Model Distillation Update） ：仅基于本地用户对应的标签对本地模型进行蒸馏。蒸馏是对不同联邦学习迭代中从旧模型捕获的信息的总结。
- 加权α更新（Weighted α - update