Federated Fine-tuning of Large Language Models under Heterogeneous Language Tasks and Client

UnknownBody

于 2024-04-21 21:00:49 发布

阅读量226

点赞数 1

分类专栏： LLM Training 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138044990

版权

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM Training

71 篇文章

订阅专栏

本文介绍了FlexLoRA，一种用于解决大型语言模型（LLM）在异构资源和任务下联合微调的挑战的方法。通过动态调整局部LoRA等级，FlexLoRA缓解了传统联合学习中的‘桶效应’，并在多个NLP任务上实现了性能提升。该方法利用奇异值分解优化客户端资源，为LLM提供了隐私保护的联邦调整路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Federated Fine-tuning of Large Language Models under Heterogeneous Language Tasks and Client Resources》的翻译。

摘要

联合学习（FL）最近被应用于大型语言模型（LLM）的参数有效微调。尽管前景广阔，但由于客户端的异构资源和数据分布，它带来了重大挑战。本研究引入了FlexLoRA，这是一种简单而有效的LLM微调聚合方案，通过将资源充足的客户与资源最少的参与者的能力联系起来，缓解了传统FL中的“桶效应”，即限制了他们的潜力。FlexLoRA允许动态调整当地的LoRA等级，促进开发一个充满更广泛、更少特定任务知识的全球模型。通过从单个客户贡献中合成全尺寸的LoRA权重，并采用奇异值分解（SVD）进行权重再分配，FlexLoRA充分利用了异构客户资源。我们的实验涉及1600多个执行不同NLP任务的客户，验证了FlexLoRA的有效性，联合全局模型在下游NLP任务性能方面实现了3.1%的平均改进。FlexLoRA与现有的基于LoRA的FL方法和理论分析的无缝集成进一步强调了其实用性，为LLM提供了一条可扩展、保护隐私的联邦调整之路。