Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models

本文是LLM系列文章，针对《Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models》的翻译。

摘要

近年来，高级智能生成内容（AIGC），特别是大型语言模型（LLMs）的发展激增。然而，对于许多下游任务，有必要使用私有数据对LLM进行微调。虽然联邦学习为LLM微调提供了一种有前景的隐私保护解决方案，但LLM的庞大规模，再加上高计算和通信需求，使得它很难应用于下游任务。更重要的是，在现实世界中，私有边缘服务器通常拥有不同的计算和网络资源，这给LLM微调带来了额外的复杂性。为了解决这些问题，我们设计并实现了一个名为FedPipe的自动化联邦管道，以最小的训练成本微调LLM，但不会增加任何推理延迟。FedPipe首先根据其对LLM培训的贡献确定需要微调的权重。然后，它为每个选定的权重配置一个低级适配器，以在边缘服务器上训练本地低级适配器，并聚合所有边缘服务器的本地适配器，以微调整个LLM。最后，根据边缘服务器的要求，对LLM的参数进行适当的量化，以减少内存空间。大量实验表明，FedPipe加快了模型训练，并实现了比最先进的基准更高的精度。

1 引言

2 背景和动机

3 自动化联邦流水线设计

4 实现和实验设置

5 评估

6 相关工作

7 结论

在本文中，我们提出并实现了FedPipe，一种自动化的联邦流水线，以促进具有异构计算资源的边缘服务器中的LLM FL微调。我们将问题建模为MILP来指导我们的设