Multi-LoRAs 项目使用教程

Multi-LoRAs 项目使用教程

1. 项目的目录结构及介绍

Multi-LoRAs 项目的目录结构如下：

multi_loras/
├── LICENSE
├── Makefile
├── README.md
├── setup.py
├── multi_loras/
│   ├── __init__.py
│   ├── extract_lora.py
│   ├── merge_lora.py
│   └── router.py
└── tests/
    └── test_multi_loras.py

目录结构介绍

• LICENSE: 项目的许可证文件。
• Makefile: 包含项目的构建和安装命令。
• README.md: 项目的基本介绍和使用说明。
• setup.py: 项目的安装脚本。
• multi_loras/: 项目的主要代码目录。
  • __init__.py: 初始化文件。
  • extract_lora.py: 用于从模型中提取 LoRA 模块的脚本。
  • merge_lora.py: 用于将 LoRA 模块合并到基础模型中的脚本。
  • router.py: 用于路由多个 LoRA 模型的脚本。
• tests/: 包含项目的测试脚本。
  • test_multi_loras.py: 测试 Multi-LoRAs 功能的脚本。

2. 项目的启动文件介绍

项目的启动文件主要是 multi_loras 目录下的几个脚本文件：

• extract_lora.py: 用于从模型中提取 LoRA 模块。
• merge_lora.py: 用于将 LoRA 模块合并到基础模型中。
• router.py: 用于路由多个 LoRA 模型。

启动文件介绍

• extract_lora.py:

  • 功能：从经过高效参数微调的模型中提取 LoRA 模块。
  • 使用方法：通过命令行调用，例如：

    python -m multi_loras.extract_lora \
      --base_model_name_or_path $[BASE_MODEL_PATH] \
      --tuned_model_name_or_path $[TUNED_MODEL_PATH] \
      --save_path $[LORA_SAVE_PATH] \
      --bf16 \
      --bits 4 \
      --lora_r 128
    

• merge_lora.py:

  • 功能：将提取的 LoRA 模块合并到基础模型中。
  • 使用方法：通过命令行调用，例如：

    python -m multi_loras.merge_lora \
      --base_model_name_or_path $[BASE_MODEL_PATH] \
      --lora_model_path $[LORA_SAVE_PATH] \
      --merged_model_name_or_path $[TASK_MODEL_PATH]
    

• router.py:

  • 功能：根据用户查询自动切换和组合多个 LoRA 模型。
  • 使用方法：通过命令行调用，具体使用方法请参考项目文档。

3. 项目的配置文件介绍

项目的主要配置文件是 setup.py 和 Makefile。

配置文件介绍

• setup.py:

  • 功能：用于安装项目的依赖和打包项目。
  • 使用方法：通过命令行调用，例如：

    pip install .
    

• Makefile:

  • 功能：包含项目的构建和安装命令。
  • 使用方法：通过命令行调用，例如：

    make install
    

以上是 Multi-LoRAs 项目的基本使用教程，详细的使用方法和参数配置请参考项目的 README.md 文件和官方文档。