32、联邦学习中特立独行客户端的贡献与选择

联邦学习中特立独行客户端的贡献与选择

在联邦学习里，客户端数据分布的异质性是个关键问题，尤其是当存在特立独行（Maverick）的客户端时，传统的客户端选择方案可能会失效。下面我们将探讨基于夏普利值（Shapley Value）的选择方法的局限性，以及新提出的 FedEMD 算法的原理、优势和实验结果。

1. 特立独行客户端的数据分布

特立独行客户端的数据分布与全局分布存在较大差异，用公式表示为 ( D_{KL}(P_g||P_m) > D_{KL}(P_g||P_n) )，其中 ( P_m )、( P_n ) 分别是特立独行客户端和非特立独行客户端带有类别标签的数据分布，( P_g ) 表示全局分布。

2. 夏普利值与特立独行客户端

• 夏普利值的定义 ：设 ( K = C(\pi, \omega_r) ) 表示某一轮中选定的客户端集合，包含 ( C_k )，( K \setminus {C_k} ) 表示去掉 ( C_k ) 后的集合。( C_k ) 的夏普利值为：
  [
  SV (C_k) = \sum_{S\subseteq K\setminus {C_k}} \frac{|S|!(|K| - |S| - 1)!}{|K|!} \delta_{C_k}(S)
  ]
  这里 ( \delta_{C_k}(S) ) 是影响力（Influence），通常采用基于损失的影响力 ( Inf_S(C_k) )。
• 特立独行客户端与非特立独行客户端夏普利值的差异 ：
  [
  SV (C_m) - SV