随着大语言模型的快速发展,如何在不消耗大量计算资源的情况下优化模型性能成为业界关注焦点。模型权重合并技术提供了一种零训练成本的高效解决方案,能够智能整合多个专业微调模型的优势,无需额外训练即可显著提升性能表现。本文系统剖析11种前沿权重合并策略的理论基础与数学原理,从简单的线性插值到复杂的几何映射方法,并通过开源工具MergeKit提供详细的实战配置示例。无论您是AI研究人员寻求最优参数组合,企业开发者追求成本效益的模型优化方案,还是对LLM内部机制感兴趣的技术爱好者,本文都将为您提供全面且实用的技术指南,助您在资源受限条件下实现大语言模型的高效优化与融合。

零训练成本优化LLM: 11种LLM权重合并策略原理与MergeKit实战配置_人工智能

1、线性权重平均:Model Soup

Model Soup技术基于一个简洁而有效的思想:对多个微调模型的权重进行加权平均。该方法的核心假设是,从相同预训练骨干网络(针对相关任务或领域)微调的模型在参数空间中处于"连通"区域,因此它们的线性组合可以产生具有更强泛化能力的模型。

对于一组模型,给定一组非负系数 (α₁, α₂, …, αₙ),且这些系数的总和为 1,合并后的模型可表示为:

零训练成本优化LLM: 11种LLM权重合并策略原理与MergeKit实战配置_大语言模型_02

参数配置

  • weight (α) — 指定张量的相对权重(若 normalize=False 则为绝对权重)
  • normalize — 若设为 true,所有模型的权重贡献将被归一化,这是默认行为
models:
      - model: meta-llama/Llama-3.1-8B-Instruct
        parameters:
          weight: 0.5
      - model: NousResearch/Hermes-3-Llama-3.1-8B
        parameters:
          weight: 0.15
      - model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
        parameters:
          weight: 0.35
    merge_method: linear
     dtype: float16
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.

2、Spherical Linear Interpolation - SLERP

SLERP 方法在归一化权重向量球面上的大圆弧上执行插值计算。与直线(欧几里得)插值不同,它保留了向量间的角度关系。当权重向量经过归一化处理时,这一特性尤为重要,能够确保插值生成的模型仍然"保持在流形上"。

对于两个权重向量 (a) 和 (b) 以及插值参数 (t∈[0,1]),SLERP 的计算公式为:

零训练成本优化LLM: 11种LLM权重合并策略原理与MergeKit实战配置_人工智能_03

参数配置

  • t (插值因子) — 控制在两个模型之间大圆弧上的插值位置
models:
       - model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
     merge_method: slerp
     base_model: meta-llama/Llama-3.1-8B-Instruct
     parameters:
       t: 0.5
     dtype: float16
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.

3、近邻交换 (Nearswap)

Nearswap 技术旨在识别并利用参数空间中两个模型在"接近"(即相似度高)区域的特性进行合并。该方法首先对模型参数(或层)进行分区处理,然后仅对差异值在指定阈值范围内的参数执行"交换"或平均操作。

其实现过程包括:

计算距离:

零训练成本优化LLM: 11种LLM权重合并策略原理与MergeKit实战配置_大语言模型_04

基于阈值 τ 执行参数合并:

零训练成本优化LLM: 11种LLM权重合并策略原理与MergeKit实战配置_模型权重合并_05

参数配置

  • t (相似度阈值) — 定义参数被视为"接近"并符合交换条件的距离阈值
models:
       - model: meta-llama/Llama-3.1-8B-Instruct
       - model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
     merge_method: nearswap
     base_model: meta-llama/Llama-3.1-8B-Instruct
     parameters:
       t: 0.5
     dtype: float16
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.