模型合并（Model Merging）技术：TIES、DARE、Model Soups

模型合并（Model Merging）技术：TIES、DARE、Model Soups

核心概念： 权重平均、任务向量、参数干扰、delta 参数稀疏化、线性模式连通性

实战内容：

• 理解 Model Soups / TIES-Merging / DARE 三种核心合并范式
• 掌握 mergekit 的 YAML 配置与命令行使用
• 对比不同合并方法在 LLM 上的性能差异
• 从零合并一个多技能模型并上传 HuggingFace Hub

技术栈： mergekit + HuggingFace Hub + PyTorch（仅推理验证）
关键算法： SLERP、TIES（Trim + Elect Sign + Merge）、DARE（Drop + REscale）
硬件需求： 仅需 CPU + 足够 RAM（无需 GPU！）
执行时间： 5~30 分钟（取决于模型大小）

参考文献（引用量最高、最原始文献）：

• [1] Wortsman et al. “Model Soups: Averaging Weights of Multiple Fine-Tuned Models Improves Accuracy Without In