MobileLLM项目使用教程

MobileLLM项目使用教程

MobileLLM MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024. 项目地址: https://gitcode.com/gh_mirrors/mo/MobileLLM

1. 项目目录结构及介绍

MobileLLM项目的目录结构如下：

MobileLLM/
├── configs/             # 配置文件目录
├── utils/               # 实用工具模块目录
├── CODE_OF_CONDUCT.md   # 项目行为准则文件
├── CONTRIBUTING.md      # 贡献指南文件
├── LICENSE              # 项目许可证文件
├── README.md            # 项目说明文件
├── eval.py              # 评估脚本
├── eval.sh              # 评估脚本执行的shell脚本
├── local_debug.sh       # 本地调试的shell脚本
├── mobilellm.png        # 项目图标文件
├── pretrain.py          # 预训练脚本
├── pretrain.sh          # 预训练脚本执行的shell脚本
├── requirement.txt      # 项目依赖文件

• configs/：包含不同模型大小的配置文件。
• utils/：包含项目中使用的实用工具模块。
• CODE_OF_CONDUCT.md：规定了项目参与者的行为准则。
• CONTRIBUTING.md：为希望对项目做出贡献的开发者提供指南。
• LICENSE：项目所使用的许可证信息。
• README.md：项目的基本介绍和使用说明。
• eval.py和eval.sh：用于对模型进行评估的脚本及其执行脚本。
• local_debug.sh：用于本地调试的shell脚本。
• mobilellm.png：项目图标。
• pretrain.py和pretrain.sh：用于模型的预训练脚本及其执行脚本。
• requirement.txt：列出项目运行所需的Python库依赖。

2. 项目的启动文件介绍

项目的启动主要是通过shell脚本pretrain.sh和eval.sh来进行的。

• pretrain.sh：此脚本用于启动模型的预训练过程。在执行此脚本之前，需要确保已经按照requirement.txt安装了所有依赖，并且已经准备好了训练数据。脚本中可以使用--train_data_local_path参数指定训练数据的本地路径，使用--input_model_filename参数指定输入模型的文件名。

  执行命令如下：

  bash pretrain.sh
  

• eval.sh：此脚本用于对训练好的模型进行评估。在使用之前，需要下载预训练好的模型，并将其路径更新到脚本中的checkpoint_path变量。执行脚本将运行评估过程。

  执行命令如下：

  bash eval.sh
  

3. 项目的配置文件介绍

项目的配置文件位于configs/目录下，这些文件包含了模型的配置信息，例如模型大小、学习率、批次大小等。

配置文件通常以.yaml或.json格式存在，例如MobileLLM-125M.yaml或MobileLLM-350M.yaml。在使用pretrain.sh或eval.sh脚本时，可以通过--config参数指定使用的配置文件。

配置文件中可能包含以下内容：

• model: 模型相关的配置，如模型的架构、参数等。
• data: 数据处理的配置，如数据集路径、预处理方式等。
• train: 训练过程的配置，如学习率、批次大小、训练轮数等。
• eval: 评估过程的配置，如评估数据集、评估指标等。

确保在使用前正确配置这些文件，以适应不同的训练和评估需求。

MobileLLM MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024. 项目地址: https://gitcode.com/gh_mirrors/mo/MobileLLM