Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137421898

本文探讨了使用差分隐私零阶方法对大型语言模型（LLM）进行微调，以解决基于DP-SGD的微调方法在效率和可扩展性上的局限性。通过动态调度超参数和参数修剪技术，实现了在保护隐私的同时提高微调的效率和效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning》的翻译。

摘要

在特定任务数据集上进行微调是一种广泛采用的范式，可以利用预训练LLM的强大能力来执行各种下游任务。由于LLM微调的流行及其随之而来的隐私问题，预训练LLM的差异私有（DP）微调在保护特定任务数据集的隐私方面越来越受到关注。DP LLM微调方法的设计核心是隐私性、实用性和可扩展性之间令人满意的折衷。大多数现有的方法都建立在DP-SGD的开创性工作之上。尽管将DP-SGD的可扩展性推向了极限，但不幸的是，基于DP SGD的微调方法受到SGD固有低效率的限制。在本文中，我们研究了DP零阶方法用于LLM预训练的潜力，该方法通过用更有效的零阶梯度逼近梯度来避免SGD的可扩展性瓶颈。本文没有将零阶方法视为SGD的替代品，而是从理论和实证两方面进行了全面的研究。首先，我们提出了动态调度关键超参数的分阶段DP零阶方法。该设计基于DP随机扰动与零阶方法的梯度近似误差之间的协同作用及其对轨迹微调的影响。其次，我们通过减少可训练参数来进一步增强可扩展性，这些可训练参数是通过重新调整无数据修剪技术的用途来识别的，不需要额外的数据或额外的隐私预算。我们对这两种方法进行了理论分析。我们对纯编码器掩蔽语言模型和解码自回归语言模型进行了广泛的实证分析，在可扩展性和实用性方面取