【论文翻译】AFLGuard: Byzantine-robust Asynchronous Federated Learning

提示：该论文标题为AFLGuard: Byzantine-robust Asynchronous Federated Learning，我将对其进行部分翻译，便于后续阅读。

---

AFLGuard：拜占庭鲁棒的异步联邦学习

ACM International Conference Proceeding Series, Pages 632-646, December 5, 2022

---

一、摘要

联邦学习（FL）是一种新兴的机器学习范式，在这种范式中，客户端在云服务器的帮助下共同学习模型。联邦学习的一个基本挑战是客户端通常是异构的，例如，它们具有不同的计算能力，因此客户端可能以不同的延迟向服务器发送模型更新。异步联邦学习旨在通过使服务器在接收到任何客户端的模型更新后立即更新模型，而无需等待其他客户端的模型更新来解决这个挑战。然而，与同步联邦学习一样，异步联邦学习也容易受到污染攻击，恶意客户端通过污染本地数据和/或发送给服务器的模型更新来操纵模型。拜占庭鲁棒的联邦学习旨在抵御污染攻击。特别是，即使某些客户端是恶意的并具有拜占庭行为，拜占庭鲁棒的联邦学习也能学习出准确的模型。然而，目前大多数关于拜占庭鲁棒联邦学习的研究集中在同步联邦学习上，导致异步联邦学习仍然未被充分探索。在本工作中，我们通过提出AFLGuard——一种拜占庭鲁棒的异步联邦学习方法，填补了这一空白。我们理论和实证上证明，AFLGuard对各种现有和自适应的污染攻击（包括非定向和定向攻击）具有鲁棒性。此外，AFLGuard在性能上优于现有的拜占庭鲁棒异步联邦学习方法。

二、引言

在本研究中，我们提出了AFLGuard，一种拜占庭鲁棒的异步联邦学习框架，旨在解决上述挑战。在AFLGuard中，我们处理异步复杂性的关键思想是为服务器配备一个小而干净的训练数据集，我们称之为受信数据集。服务器（例如，Meta、Google）可以手动收集该受信数据集以用于学习任务。当服务器接收到来自客户端的模型更新时，它基于受信数据集和当前全局模型计算一个模型更新（称为服务器模型更新）。只有当客户端的模型更新在方向和幅度上与服务器模型更新没有太大偏差时，服务器才会接受该更新。具体来说，如果客户端和服务器模型更新之间的差异向量的幅度小于服务器模型更新幅度的一定比例，则服务器会使用客户端的模型更新来更新全局模型。更新后的全局模型随后发送给客户端。

有趣的是，我们展示了AFLGuard这一简单直观的想法具有强大的理论保证。具体来说，在拜占庭鲁棒联邦学习社区广泛采用的温和假设下，

注：在拜占庭鲁棒的联邦学习方法中，服务器无法确定每个客户端的可信度或意图。因为服务器对客户端的行为和数据没有先验的信任基础，所以在服务器看来，每个客户端都可能是恶意的。

我们证明了在没有恶意客户端的情况下最优全局模型参数与AFLGuard在任意数量恶意客户端下学习的全局模型参数之间的差异是有界的。我们还进行了实证评估，将AFLGuard与最先进的拜占庭鲁棒异步联邦学习方法在一个合成数据集和五个真实数据集上进行了比较。实验结果表明，当大部分客户端是恶意的时，AFLGuard能够抵御各种现有和自适应的污染攻击。此外，AFLGuard在性能上显著优于现有的拜占庭鲁棒异步联邦学习方法。

我们总结了以下主要贡献：

• 我们提出了一种名为AFLGuard的拜占庭鲁棒异步联邦学习框架，以抵御异步联邦学习中的污染攻击。
• 我们理论上证明，在拜占庭鲁棒联邦学习社区普遍采用的温和假设下，AFLGuard对任意数量的恶意客户端具有鲁棒性。