2025_NIPS_You Only Communicate Once: One-shot Federated Low-Rank Adaptation of MLLM

文章核心总结与翻译

一、主要内容

文章聚焦多模态大语言模型（MLLMs）的联邦学习（FL）适配问题，针对传统联邦学习多轮通信导致的高成本和高攻击风险，提出了真正的单轮联邦低秩适配方法YOCO。通过探索隐式全局监督（预训练权重而非聚合权重）对局部训练偏差的校正作用，YOCO采用SVD初始化、符号一致性正则化、稀疏正则化和主成分加权聚合策略，在仅消耗多轮联邦学习约0.03%通信成本的前提下，在多模态任务（含医疗场景）中实现了超越现有单轮方法和部分多轮方法的性能。

二、创新点

1. 真正单轮通信：首次实现MLLMs的真正单轮联邦低秩适配，利用隐式全局监督校正局部偏差，无需多轮聚合生成全局监督信号。
2. 平衡一致性与适应性：对LoRA B矩阵施加符号正则化保证全局一致性，对LoRA A矩阵采用稀疏正则化保留客户端特异性知识，兼顾全局统一与局部适配。
3. 高效聚合策略：LoRA B采用普通平均聚合（冲突低），LoRA A采用主成分加权聚合（增强适应性），优化聚合效果。
4. 低通信高性能：通信成本仅为多轮方法的~0.03%，在对齐模态、缺失模态等多种场景中持续优于现有单轮基线，部分场景超越多轮方法。

---

三、关键部分翻译（Markdown格式）

Abstract