On the Convergence of Zeroth-Order Federated Tuning for Large Language Models

本文是LLM系列文章，针对《On the Convergence of Zeroth-Order Federated Tuning for Large Language Models》的翻译。

摘要

联合学习（FL）和大型语言模型（LLM）的融合正在开创一个保护隐私的自然语言处理的新时代。然而，微调LLM的密集内存需求带来了重大挑战，尤其是在计算资源有限的客户端上部署时。为了避免这种情况，我们探索了在联邦环境中集成内存高效的零阶优化的新方法，我们称之为FedMeZO。我们的研究首次在LLM的背景下检验了FedMeZO的理论基础，解决了大参数空间对优化行为的影响、收敛特性的建立以及收敛关键参数的识别等关键问题，为个性化联邦策略提供信息。我们广泛的经验证据支持了这一理论，表明FedMeZO不仅比传统的一阶方法（如FedAvg）收敛得更快，而且还将训练期间的GPU内存使用量显著降低到与推理期间相当的水平。此外，所提出的个性化FL策略建立在定制客户学习率的理论见解的基础上，可以有效地加速减少损失。我们希望我们的工作能够帮助弥合LLM联邦微调的理论和实践方面，从而促进该领域的进一步进步和研究。

1 引言

2 前言

3 主要结果

4 证明大纲

5 经验支持

6 结论

这项工作研究了FedMeZO的收敛性，这是一种在大型语言模型（LLM）的联合学习环境中集成高效内存零阶优化的实用方法。大量的经验结果验证了我们的分析，并表明FedMeZO在降低GPU内存需求的情况下实现了快速收敛，为传统优化方法提供了一种很有前途的替代方案。从理论分析中得出的个性化学习率调整的结合已被证