MiniMind 项目使用教程

MiniMind 项目使用教程

minimind 🚀🚀 「大模型」2小时完全从0训练26M的小参数GPT！🌏 Train a 26M-parameter GPT from scratch in just 2h! 项目地址: https://gitcode.com/gh_mirrors/min/minimind

1. 项目目录结构及介绍

MiniMind 项目目录结构如下：

minimind/
├── images/                           # 存储项目相关图片
├── model/                            # 模型相关文件
├── scripts/                          # 脚本文件夹，包括训练、评估等脚本
├── .gitignore                        # 忽略文件列表
├── CODE_OF_CONDUCT.md                # 项目行为准则
├── LICENSE                           # 项目许可证
├── README.md                         # 项目说明文件
├── README_en.md                      # 项目说明文件（英文版）
├── eval_model.py                     # 模型评估脚本
├── requirements.txt                  # 项目依赖文件
├── train_distill_reason.py           # 模型蒸馏训练脚本
├── train_distillation.py             # 模型蒸馏训练脚本
├── train_dpo.py                      # 强化学习训练脚本
├── train_full_sft.py                 # 监督微调训练脚本
├── train_lora.py                     # LoRA微调训练脚本
├── train_pretrain.py                 # 预训练脚本

文件夹说明：

• images/: 存储项目相关的图片文件。
• model/: 包含模型定义和权重文件。
• scripts/: 包含启动项目所需的脚本，如训练模型、评估模型等。

文件说明：

• .gitignore: 指定 Git 忽略的文件和文件夹。
• CODE_OF_CONDUCT.md: 项目行为准则，定义了项目参与者的行为规范。
• LICENSE: 项目的许可协议，本项目采用 Apache-2.0 许可。
• README.md: 项目自述文件，包含项目描述、使用方法和贡献指南。
• README_en.md: 项目自述文件的英文版。
• eval_model.py: 评估训练好的模型效果的脚本。
• requirements.txt: 项目依赖文件，指定了项目运行所需的 Python 包。

2. 项目的启动文件介绍

项目的启动主要是通过 scripts 目录下的脚本进行的。

• train_pretrain.py: 用于启动模型的预训练过程。
• train_full_sft.py: 用于启动模型的监督微调过程。
• eval_model.py: 用于启动模型的评估过程。

例如，要启动预训练过程，可以在终端中运行以下命令：

python train_pretrain.py

3. 项目的配置文件介绍

项目的配置主要通过修改 requirements.txt 文件来进行。

• requirements.txt: 该文件列出了项目所需的 Python 包及其版本。例如，如果需要安装 PyTorch 和其他相关依赖，可以修改该文件如下：

torch==1.10.0+cu113
torchaudio==0.10.0+cu113
torchvision==0.11.1+cu113
transformers==4.15.0
streamlit==0.82.0

然后使用以下命令安装依赖：

pip install -r requirements.txt

以上是 MiniMind 项目的基本使用教程。在实际使用过程中，可能还需要根据具体的训练需求调整脚本参数和配置文件。

minimind 🚀🚀 「大模型」2小时完全从0训练26M的小参数GPT！🌏 Train a 26M-parameter GPT from scratch in just 2h! 项目地址: https://gitcode.com/gh_mirrors/min/minimind