Mergoo 项目使用与配置指南

Mergoo 项目使用与配置指南

mergoo A library for easily merging multiple LLM experts, and efficiently train the merged LLM. 项目地址: https://gitcode.com/gh_mirrors/me/mergoo

1. 项目目录结构及介绍

Mergoo 是一个用于轻松合并多个大型语言模型（LLM）专家，并有效训练合并后的 LLM 的库。以下是项目的目录结构及各部分的介绍：

mergoo/
├── examples/                     # 示例配置和代码
├── notebooks/                    # Jupyter 笔记本，包含详细的合并过程和示例
├── static/                       # 静态文件，如图片等
├── .gitignore                    # 指定 Git 忽略的文件和目录
├── CHANGELOG.md                  # 项目更新日志
├── CODE_OF_CONDUCT.md            # 项目行为准则
├── LICENSE                       # 项目使用的 LGPL-3.0 许可证
├── SECURITY.md                   # 项目安全策略
├── pyproject.toml                # 项目配置文件
├── readme.md                     # 项目自述文件
└── /github/                      # GitHub 工作流文件

• examples/：包含了一些配置文件和启动脚本的示例。
• notebooks/：包含了一些 Jupyter 笔记本，详细介绍了如何使用 Mergoo 进行模型的合并和训练。
• static/：包含了项目的静态资源，如图片等。
• .gitignore：指定了 Git 在版本控制时应该忽略的文件和目录。
• CHANGELOG.md：记录了项目的所有更新和改动历史。
• CODE_OF_CONDUCT.md：定义了项目社区的行为准则。
• LICENSE：项目使用的 LGPL-3.0 许可证文件。
• SECURITY.md：描述了项目处理安全问题的策略。
• pyproject.toml：项目配置文件，包含了项目的元数据和依赖。
• readme.md：项目的自述文件，介绍了项目的目的、使用方法和如何贡献。

2. 项目的启动文件介绍

项目的启动文件主要是 examples/ 目录下的脚本，这些脚本展示了如何配置和启动 Mergoo。以下是一个简单的启动脚本示例：

from mergoo.compose_experts import ComposeExperts
import torch

# 配置参数
config = {
    "model_type": "mistral",
    "num_experts_per_tok": 2,
    "experts": [
        {"expert_name": "base_expert", "model_id": "mistralai/Mistral-7B-v0.1"},
        # ... 其他专家配置
    ],
    "router_layers": ["gate_proj", "up_proj", "down_proj"]
}

# 创建合并专家对象
expertmerger = ComposeExperts(config, torch_dtype=torch.float16)

# 执行合并操作
expertmerger.compose()

# 保存检查点
expertmerger.save_checkpoint("data/mistral_lora_moe")

这个脚本首先导入了必要的模块，然后定义了合并专家的配置，接着创建了一个 ComposeExperts 对象，并调用 compose 方法来执行合并操作。最后，使用 save_checkpoint 方法保存合并后的模型。

3. 项目的配置文件介绍

项目的配置文件主要是 pyproject.toml，这个文件包含了项目的元数据和依赖信息。以下是配置文件的部分内容：

[tool.poetry]
name = "mergoo"
version = "0.1.0"
description = "A library for easily merging multiple LLM experts, and efficiently train the merged LLM."
authors = ["Leeroo AI <contact@leeroo.com>"]

[tool.poetry.dependencies]
python = "^3.8"
torch = "^1.8"
transformers = "^4.6"

[tool.poetry.dev-dependencies]
pytest = "^6.2"

这个配置文件指定了项目的名称、版本、描述、作者和依赖。在这里，项目依赖于 Python 3.8 及以上版本，PyTorch 和 Hugging Face Transformers 库。此外，还指定了一些开发依赖，如 pytest。通过这个配置文件，可以使用 poetry 工具来管理和安装项目的依赖。

mergoo A library for easily merging multiple LLM experts, and efficiently train the merged LLM. 项目地址: https://gitcode.com/gh_mirrors/me/mergoo