联邦指令微调（FedIT）：让大模型在私有数据上协作学习

联邦指令微调（FedIT）：让大模型在私有数据上协作学习

核心概念： 联邦指令微调（Federated Instruction Tuning）、LoRA 参数高效微调、FedAvg 聚合、数据异构性、GPT-4 自动评估

项目地址

https://gitcode.com/u012133341/fedit-project/tree/main

实战内容：

• 完整解析 FedIT 论文的架构设计与核心发现
• 从零实现 Shepherd 框架：联邦 LoRA 微调 + FedAvg 聚合
• 复现论文实验：异构数据分区 → 多轮联邦训练 → GPT-4 评估
• 可视化：客户端标签分布、通信轮次-评估得分曲线

技术栈： PyTorch + HuggingFace PEFT + LoRA + bitsandbytes
关键算法： FedIT（Zhang et al., ICASSP 2024）、LoRA、FedAvg
数据集： Databricks-Dolly-15k（8 个指令类别）
基座模型： LLaMA-7B / Alpaca-7B
硬件需求： 单卡 24GB 显存（TITAN RTX / RTX 30