Federated Unlearning for On-Device Recommendation

WSDM 2023
CCF-B

Federated Unlearning for On-Device Recommendation

本文工作的主要介绍

本文主要介绍了一种名为FRU（Federated Recommendation Unlearning）的联邦学习框架，用于在设备端的推荐系统中实现用户数据的有效擦除和模型重建。FRU通过存储用户的历史更新并校准这些更新，实现了有效的用户数据擦除和模型重建，从而保护用户隐私并提高系统的安全性。文章提出了重要性基础的更新选择策略和一种新颖的负采样方法，以在资源受限的设备上高效存储历史更新。通过实验证明，FRU能够消除特定用户的影响，并以至少7倍的速度加快模型的恢复过程。

本文的主要研究方法

这篇文章的主要研究方法是提出一种名为FRU（Federated Recommendation Unlearning）的联邦忘记框架，用于在设备上的推荐系统。FRU通过存储每个用户的历史模型更新，然后通过校准这些更新来重建联邦推荐系统。为了在资源受限的设备上有效存储历史更新，作者提出了一种基于重要性的更新选择策略和一种新颖的负采样方法。为了评估FRU的忘记能力，作者提出了一种攻击方法，使用一组被破坏的客户端来干扰联邦推荐系统的训练过程，然后应用FRU来消除这些恶意用户的影响。FRU与模型无关，可以应用于大多数联邦推荐系统。作者使用两个流行的推荐器在两个真实世界推荐数据集上进行了实验。结果表明，FRU可以消除特定用户的影响，并在7倍的速度上有效地恢复联邦推荐系统。

论文中的实验是如何设计的，详细描述各实验方法并概括总结：

实验设计主要包括以下几个方面：

• 基线方法：构建了两个基线方法，Retrain（从头开始重新训练）和FedRemove（仅删除目标用户的全局参数更新，然后直接聚合剩余客户端的更新）。
• 评估指标：使用广泛使用的Hit Ratio at rank 10（HR@10）和Normalized Discounted Cumulative Gain at rank 10（NDCG@10）来衡量推荐性能。
• 数据集：使用了两个常用的联邦推荐数据集，MovieLens-100k和Steam-200k。
• 参数设置：对于NCF，用户和项目嵌入的维度为64。采用4个神经层，分别为128、256、128和64，处理连接的用户和项目嵌入。对于LightGCN，用户和项目嵌入的维度为64，使用1层进行图传播。
• 实验结果分析：从以下两个方面评估所提出的FRU方法的性能：
  • （1）FedRec是否恢复；（2）遗忘效率。

实验结果表明，FRU可以恢复受到恶意用户影响的FedRec并实现与Retrain相当甚至更好的性能，同时具有更高的效率。此外，FRU在不同的FedRec模型上具有有效且通用的遗忘能力。在MovieLens-100k和Steam-20