10、联邦学习中的客户端选择框架解析

联邦学习中的客户端选择框架解析

1. 垂直联邦学习（VFL）

1.1 基本概念

垂直联邦学习（VFL）常用于处理来自不同目标和特征的企业数据集。它也被称为特征分区联邦学习，能够利用不同组织维护的异构特征来构建更强大的机器学习模型。在 VFL 框架下，数学表示为：
[
X_i \neq X_j, Y_i \neq Y_j, I_i = I_j, \forall D_i, D_j, i \neq j
]
其中，$X$ 和 $Y$ 分别代表特征空间和标签空间，$I$ 代表 ID 空间，矩阵 $D$ 代表不同客户端和参与方持有的数据。

1.2 架构与参与方

VFL 的架构与水平联邦学习（HFL）略有不同，主要是因为参与方类型不同。假设企业 A 和 B 都有兴趣联合运行机器学习算法（MLA），且各自拥有敏感数据，其中企业 B 已对联合模型执行预测任务所需的数据进行了标注。由于隐私问题，A 和 B 不能直接交换数据，因此在训练过程中会引入第三方协作者（C），可以是政府组织或安全节点（如英特尔软件防护扩展）。

1.3 训练过程

VFL 可分为两部分：加密实体对齐和加密模型训练。
- 加密实体对齐 ：由于公司 A 和 B 的用户群体不同，系统采用基于加密的用户 ID 对齐技术，在不暴露彼此数据的情况下确认双方身份。
- 加密模型训练 ：可进一步细分为 6 个步骤：
1. C 创建加密对，并将公钥发送给 A 和 B。
2. A 和 B 加密并交换用于损失和梯度计算的中间结果