Mergoo：轻松融合多个LLM专家，提升模型效能

Mergoo：轻松融合多个LLM专家，提升模型效能

mergoo A library for easily merging multiple LLM experts, and efficiently train the merged LLM. 项目地址: https://gitcode.com/gh_mirrors/me/mergoo

在现代自然语言处理领域，大型语言模型（LLM）已经成为核心技术之一。然而，单个LLM往往难以兼顾不同领域或任务的专业知识。Mergoo 是一个开源库，它允许用户轻松地融合多个LLM专家，通过不同的合并方法，如混合专家（Mixture-of-Experts）、混合适配器（Mixture-of-Adapters）和逐层合并，从而创建一个更加全面和强大的语言模型。

项目介绍

Mergoo 的核心功能是合并多个LLM专家，并有效地训练合并后的LLM。这意味着用户可以整合不同通用或特定领域的LLM专家的知识，创建一个能够处理更广泛任务的统一模型。这种模型融合的方法不仅可以提高模型的性能，还可以增强其泛化能力。

项目技术分析

Mergoo 支持多种底层模型，包括Llama、Mistral、Phi3和BERT。它兼容Hugging Face的Trainer、SFTrainer和PEFT训练器，可以在CPU、MPS和GPU设备上运行。此外，Mergoo 提供了灵活的配置选项，允许用户根据需要选择合并的层和专家。

在技术层面，Mergoo 实现了以下关键特性：

• 支持多种合并方法，包括混合专家、混合适配器和逐层合并。
• 支持基于Llama、Mistral、Phi3和BERT的基础模型。
• 兼容多种训练器，如Hugging Face Trainer和PEFT。
• 支持在CPU、MPS和GPU上训练。
• 提供了灵活的训练选项，包括仅训练路由层或完全微调合并后的LLM。

项目技术应用场景

Mergoo 的应用场景广泛，尤其适用于以下几种情况：

1. 多领域融合：当需要处理涉及多个领域的任务时，如医疗、法律和金融，Mergoo 可以将各自领域的LLM专家合并为一个统一模型，提高跨领域的处理能力。
2. 特定任务优化：对于某些特定任务，如机器翻译或问答系统，Mergoo 可以通过融合特定任务的LLM专家来优化模型性能。
3. 资源优化：当计算资源有限时，Mergoo 可以通过合并多个小模型来创建一个性能接近大模型的新模型，从而节省资源。

项目特点

Mergoo 的主要特点包括：

• 灵活的合并策略：用户可以根据需求选择不同的合并方法，为每层设置不同的合并策略。
• 广泛的模型兼容性：支持多种流行的LLM基础模型，如Llama、Mistral、Phi3和BERT。
• 高效训练：与Hugging Face的Trainer和PEFT训练器兼容，可以在多种设备上高效训练。
• 易于使用：Mergoo 提供了简洁的API和详细的文档，使融合LLM专家的过程变得简单直观。

以下是Mergoo 的安装和使用示例：

# 安装 Mergoo
pip install mergoo

# 创建合并配置
config = {
    "model_type": "mistral",
    "num_experts_per_tok": 2,
    "experts": [
        {"expert_name": "base_expert", "model_id": "mistralai/Mistral-7B-v0.1"},
        {"expert_name": "expert_1", "model_id": "meta-math/MetaMath-Mistral-7B"},
        {"expert_name": "expert_2", "model_id": "ajibawa-2023/Code-Mistral-7B"}
    ],
    "router_layers": ["gate_proj", "up_proj", "down_proj"]
}

# 创建合并器并合并专家
from mergoo.compose_experts import ComposeExperts
import torch

model_id = "data/mistral_lora_moe"
expertmerger = ComposeExperts(config, torch_dtype=torch.float16)
expertmerger.compose()
expertmerger.save_checkpoint(model_id)

# 加载并微调合并后的模型
from transformers import Trainer
from mergoo.models.modeling_mistral import MistralForCausalLM

model = MistralForCausalLM.from_pretrained("data/mistral_lora_moe")
trainer = Trainer(...)
trainer.train()

通过上述代码，用户可以轻松地安装Mergoo，设置合并配置，合并LLM专家，并使用Hugging Face的Trainer进行训练。

总结来说，Mergoo 是一个强大的工具，它为LLM专家的融合提供了一个灵活和高效的平台。无论是为了提高模型性能，还是优化资源使用，Mergoo 都能够满足用户的需求。通过其简单的API和广泛的兼容性，Mergoo 将成为自然语言处理领域的一个重要工具。

mergoo A library for easily merging multiple LLM experts, and efficiently train the merged LLM. 项目地址: https://gitcode.com/gh_mirrors/me/mergoo