《Prime AI 模型分布式训练框架安装与配置指南》

《Prime AI 模型分布式训练框架安装与配置指南》

prime prime is a framework for efficient, globally distributed training of AI models over the internet. 项目地址: https://gitcode.com/gh_mirrors/prime2/prime

1. 项目基础介绍

Prime 是一个开源项目，旨在提供一种高效的、全球分布式的 AI 模型训练方法。通过互联网，它能够实现对大型 AI 模型的训练。该项目主要使用 Python 编程语言，并结合了 PyTorch 等深度学习框架。

2. 项目使用的关键技术和框架

• ElasticDeviceMesh: 一种新的分布式抽象，用于容错训练过程中的动态全局进程组和局部进程组通信。
• 异步分布式检查点: 通过在 /dev/shm（一个基于 RAM 的文件系统）中首先进行检查点操作，以减少阻塞时间。
• 实时检查点恢复: 允许新加入的节点快速获取模型的最新状态。
• 自定义 Int8 全减运算核: 通过自定义运算核优化通信负载。
• PyTorch FSDP2 / DTensor ZeRO-3: 实现模型参数、梯度和优化器状态的分片，以适应内存限制。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统满足了以下先决条件：

• Python 3.7 或更高版本
• Git
• SSH 客户端
• uv 工具（用于简化多节点设置）

安装步骤

1. 克隆项目仓库：

   git clone git@github.com:PrimeIntellect-ai/prime.git
   

2. 安装 uv 工具：

   curl -LsSf https://astral.sh/uv/install.sh | sh
   source $HOME/.local/bin/env
   

3. 设置环境：

   sudo apt install iperf -y
   uv venv
   source .venv/bin/activate
   uv sync --extra all
   

4. 更新子模块：

   git submodule update --init --recursive
   

5. 登录 Hugging Face（如果需要）：

   huggingface-cli login
   

6. 下载数据集：

   mkdir -p datasets
   uv run python scripts/subset_data.py --dataset_name PrimeIntellect/fineweb-edu --data_world_size 1 --data_rank 0 --max_shards 32
   mv fineweb-edu/ datasets/fineweb-edu/
   

7. 快速检查安装：

   GLOO_SOCKET_IFNAME=lo GLOBAL_ADDR=localhost GLOBAL_RANK=0 GLOBAL_UNIQUE_ID=0 GLOBAL_WORLD_SIZE=1 GLOBAL_PORT=8989 uv run torchrun --nproc_per_node=2 src/zeroband/train.py @configs/debug/diloco.toml
   

请按照上述步骤操作，逐步完成 Prime 项目的安装和配置。如果有任何疑问，请参考项目官方文档或社区支持。

prime prime is a framework for efficient, globally distributed training of AI models over the internet. 项目地址: https://gitcode.com/gh_mirrors/prime2/prime