MARS 项目使用教程

MARS 项目使用教程

MARS The official implementation of MARS: Unleashing the Power of Variance Reduction for Training Large Models 项目地址: https://gitcode.com/gh_mirrors/mars11/MARS

1. 项目目录结构及介绍

MARS 项目目录结构如下：

MARS/
├── assets/               # 存储项目相关资源文件
├── config/               # 配置文件目录
├── data/                 # 数据集目录
│   └── openwebtext/      # OpenWebText 数据集
├── scripts/              # 脚本目录，包含启动和运行项目的脚本
├── LICENSE               # 项目许可证文件
├── README.md             # 项目说明文件
└── train_mars_fw.py      # MARS 训练脚本

• assets/：包含项目所需的各种资源文件。
• config/：包含项目的配置文件，用户可以在此修改配置。
• data/：存放项目使用的数据集。
  • openwebtext/：OpenWebText 数据集，用于预训练和测试。
• scripts/：包含用于启动和运行项目的脚本文件。
• LICENSE：项目的许可证文件，本项目采用 Apache-2.0 许可。
• README.md：项目的说明文件，介绍了项目的基本信息。
• train_mars_fw.py：MARS 训练脚本，用于启动模型训练。

2. 项目的启动文件介绍

项目的启动文件为 scripts/run_mars_small_fw.sh。该脚本用于启动 MARS 模型的训练过程。以下是脚本的主要内容：

#!/bin/bash

# 设置项目路径
PROJECT_PATH=$(dirname "$0")

# 进入项目目录
cd "$PROJECT_PATH"

# 运行训练脚本
python train_mars_fw.py --config config/train_mars_small_fw.json

用户可以通过以下命令运行该脚本：

chmod +x scripts/run_mars_small_fw.sh
./scripts/run_mars_small_fw.sh

确保在运行脚本前已正确设置环境变量和配置文件。

3. 项目的配置文件介绍

项目的配置文件位于 config/ 目录下，例如 train_mars_small_fw.json。该文件用于配置 MARS 模型的训练参数。以下是配置文件的主要内容：

{
  "model": {
    "name": "MARS-AdamW",
    "params": {
      "learning_rate": 0.001,
      "beta1": 0.9,
      "beta2": 0.999,
      "gamma": 0.1,
      "clip_value": 1.0
    }
  },
  "data": {
    "train_data_path": "data/openwebtext/train.txt",
    "valid_data_path": "data/openwebtext/valid.txt"
  },
  "train": {
    "batch_size": 32,
    "num_epochs": 10
  }
}

用户可以根据需要调整配置文件中的参数，例如学习率、批次大小、训练轮数等。配置文件中的参数将直接影响模型的训练过程和性能。

MARS The official implementation of MARS: Unleashing the Power of Variance Reduction for Training Large Models 项目地址: https://gitcode.com/gh_mirrors/mars11/MARS