Tokens for Learning, Tokens for Unlearning: Mitigating Membership Inference Attacks

摘要

大语言模型（LLMs）已成为现代自然语言处理的支柱，但它存在泄露敏感训练数据的隐私问题。成员推理攻击（MIAs）旨在推断某个样本是否包含在模型的训练数据集中，可能引发更广泛的隐私威胁。现有的针对传统分类模型的防御方法没有考虑文本数据的序列特性，因此，它们要么需要大量的计算资源，要么无法有效降低大语言模型中的隐私风险。在这项研究中，我们提出了一种轻量级且有效的经验隐私防御方法，通过利用大语言模型中token的特定特征来保护语言模型的训练数据。通过分析训练过程中token的动态变化，我们提出了一种token选择策略，将token分为用于学习的 “难学习token” 和用于 “反学习” 的 “记忆token”。随后，我们在训练阶段通过优化一种新的双目标token级损失函数，以实现模型实用性和隐私性之间的帕累托最优平衡。大量实验表明，与基线方法相比，我们的方法不仅能有效抵御成员推理攻击，还能在各种大语言模型架构和数据集上使语言建模性能提高约10%。

引言

大语言模型（LLMs）已成为现代自然语言处理的基础，在各个领域都有广泛应用（Chang等人，2024）。随着大语言模型的快速部署，数据隐私问题也日益严重（Yao等人，2024）。研究表明，大语言模型会记住训练数据，这些数据随后可能被攻击者蒸馏（Carlini等人，2023）。成员推理攻击（MIAs）（Shokri等人，2017；Li等人，2024a）旨在推断一个样本是否包含在模型的训练数据中，是更广泛隐私威胁的基础（Carlini等人，2021b）。

由于理解和减轻成员推理攻击的重要性，大量研究致力于设计针对成员推理攻击的防御措施（Hu等人，2022b）。然而，大多数防御措施主要针对传统分