第41篇On the Convergence of Zeroth-Order Federated Tuning forLarge Language Models（fedmezo首次零阶优化+lora）

第一部分：解决的问题

论文聚焦于联邦学习（FL）与大型语言模型（LLMs）结合时面临的挑战。LLMs的微调需要大量计算资源，尤其在客户端设备资源有限的情况下，传统的基于梯度的优化方法（如反向传播）会因内存消耗过高而难以应用。此外，LLMs的参数规模庞大，进一步加剧了这一问题。因此，论文旨在探索一种高效的优化方法，以解决在资源受限的客户端上对LLMs进行微调的难题。

第二部分：idea

论文提出了FedMeZO方法，将零阶优化（ZOO）技术与FL相结合。

FedMeZO 方法：将 ZOO 方法 MeZO 与 FL 结合，通过两步梯度估计器（two-point gradient estimator）来近似梯度，从而减少内存使用。理论分析：论文首次从理论上分析了 FedMeZO 在 LLMs 中的收敛性，包括在独立同分布（i.i.d.）和非独立同分布（non-i.i.d.）数据分布下的收敛率。

个性化学习率调整：基于理论分析，提出了一种