Privacy-preserving Fine-tuning of Large Language Models through Flatness

本文是LLM系列文章，针对《Privacy-preserving Fine-tuning of Large Language Models through Flatness》的翻译。

摘要

最近，随着ChatGPT等大型语言模型的发展，与大型语言模型（LLM）的使用相关的隐私问题日益严重。在现有工作中探索了差分隐私（DP）技术，以降低其隐私风险，代价是泛化能力下降。我们的论文揭示了DP训练模型的损失景观的平坦性在其隐私性和泛化之间的权衡中起着至关重要的作用。我们进一步提出了一个整体框架来实施适当的权重平坦性，这大大提高了具有竞争性隐私保护的模型泛化能力。它从三个粗略到细粒度进行了创新，包括对层内模型权重的扰动感知最小-最大优化、对跨层权重的平坦度引导稀疏前缀调整，以及DP和非DP权重副本之间的权重知识提取。对黑盒和白盒场景进行了综合实验，以证明我们的建议在增强泛化和保持DP特性方面的有效性。例如，在文本分类数据集QNLI上，DP-Flat在非私有完全微调的情况下实现了类似的性能，但在隐私预算ε=3的情况下具有DP保证，并且在更高的隐私预算下具有更好的性能。附录中提供了代码。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们通过差分隐私（DP）解决了在大型语言模型（LLM）中平衡数据隐私与性能的挑战。我们引入了一个新的框架，旨在增强DP训练模型中损失景观的平坦性，提出了三个层次的策略：层内平坦化、跨层平坦化和跨模型平坦化。我们的方法有效地缩小了DP训练的LLM与其标准LLM之间的性能差距，为封闭源代码环境中的隐私保护算法提供了开创性的解决方案。我们的综合实验表明，在黑盒和白盒设