2025_NIPS_Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning

文章核心总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）在多异质领域自适应中存在的域间干扰问题，提出了一种基于分区的多阶段微调框架（PMS-FTP）。其核心思路是通过平衡域间差异、协同性和模型容量约束，将多个领域策略性地划分为子集（阶段），在利用域间协同效应的同时最小化负迁移。

研究通过理论分析推导了新的泛化界，验证了分区策略的合理性，并在新闻摘要、情感分类、问答和主题分类四大任务上，基于LLaMA2（7B/13B）和Falcon-40B等模型进行了大量实验。结果表明，该方法在各项任务中持续优于现有基线方法，同时降低了内存使用量，且在模型规模扩展时仍能保持性能优势。

二、创新点

1. 新颖的分区算法：根据域间协同性和差异性对领域进行聚类，分阶段微调LLM，既避免了跨域干扰，又充分利用了域间互补作用。
2. 理论泛化界推导：提出了包含域差异、协同补偿和适配器复杂度的新泛化界，证明了多阶段分区策略相比单阶段或朴素多域方法具有更严格的泛化保证。
3. 兼顾实用性与性能：整合了内存预算、域迁移和协同机会等实际约束，实验中在提升各领域任务准确率的同时，降低了32%的内存使用量，实现了性能与效率的平衡。

三、关键部分翻译（Markdown格式）

Abstract

大型语言模型（LLMs）展现