Personalized Wireless Federated Learning for Large Language Models

本文是LLM系列文章，针对《Personalized Wireless Federated Learning for Large Language Models》的翻译。

摘要

大型语言模型 (LLM) 彻底改变了自然语言处理任务。然而，它们在无线网络中的部署仍然面临挑战，即缺乏隐私和安全保护机制。联邦学习（FL）已成为应对这些挑战的一种有前景的方法。然而，它面临着处理大数据和异构数据效率低下、资源密集型LLM以及高通信开销等问题。为了解决这些问题，我们首先比较无线网络中LLM的不同学习阶段及其特征。接下来，我们介绍两种低通信开销的个性化无线联邦微调方法，即（1）个性化联邦指令调优（PFIT），它利用强化学习对具有多种奖励模型的本地LLM进行微调，以实现个性化； （2）个性化联合任务调优（PFTT），它可以利用全局适配器和本地低秩适应（LoRA）来协作微调本地LLM，其中可以应用本地LoRA来实现个性化而无需聚合。最后，我们进行模拟来证明所提出的两种方法的有效性并全面讨论悬而未决的问题。

1 引言

2 在无线网络中协调 LLM 和 FL

3 LLMS 无线联合微调的潜在解决方案

4 个性化联合微调

5 仿真结果

6 结论

在本文中，我们首先总结了LLM的三个学习阶段，并讨论了将 FL 与LLM相结合的潜在解决方案。接下来，我们针对不同的微调方法提出了两种 PFL。具体来说，我们引入了 PFIT，用于根据客户偏好对LLM的指令进行微调。然后，我们设计了两种基于帮助性和安全性的奖励模型，并使用 RLHF