2025_NIPS_FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models

文章核心总结与创新点

主要内容

文章提出 FlowerTune LLM Leaderboard 基准测试套件，聚焦联邦学习（FL）环境下大型语言模型（LLMs）的跨领域微调评估。该套件覆盖通用NLP、金融、医疗、编程四大敏感数据领域，提供专用联邦指令微调数据集和领域特定评估指标，对26个参数规模1.35亿至140亿的预训练模型，在统一FL配置下进行了全面基准测试，分析了模型性能、系统开销（通信成本、显存占用）以及聚合算法、微调策略的影响。

创新点

1. 首个专注LLMs联邦微调的跨领域基准测试平台，填补了现有研究在该领域标准化评估的空白。
2. 覆盖四大高价值敏感数据领域，提供统一的数据集分割、评估协议和基准结果，支持可重复研究。
3. 系统对比26种基础模型、4种聚合算法（FedAvg、FedProx等）和2种参数高效微调技术（LoRA、DoRA），揭示模型选型对联邦微调效果的关键影响。
4. 开源社区驱动的协作框架，吸引学术和工业界参与，为隐私保护型领域专用LLMs的开发提供实用参考。

---

翻译部分（Markdown格式）

Abstract

大型语言模型（LLMs）已在多个