《smolGPT 项目安装与配置指南》

《smolGPT 项目安装与配置指南》

smolGPT 项目地址: https://gitcode.com/gh_mirrors/smo/smolGPT

1. 项目基础介绍

smolGPT 是一个基于 PyTorch 的开源项目，旨在为用户提供一个从零开始训练自己的小型语言模型（LLM）的教育性实现。该项目具有简洁的代码库，并包含现代的模型架构和训练技术。

主要的编程语言：Python

2. 项目使用的关键技术和框架

• 模型架构：GPT 模型，支持 Flash Attention、RMSNorm 和 SwiGLU 等现代技术。
• 训练技术：包含混合精度训练、梯度累积、学习率衰减预热、权重衰减和梯度裁剪等。
• 数据集支持：内置 TinyStories 数据集处理。
• 分词器支持：集成了 SentencePiece 分词器训练。

3. 项目安装和配置准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.8 或更高版本
• PyTorch 2.0 或更高版本，并支持 CUDA
• modern GPU（推荐）

详细安装步骤

第一步：安装依赖

首先，您需要安装项目所需的依赖项。在项目根目录下，运行以下命令：

pip install -r requirements.txt

第二步：准备数据集

在开始训练模型之前，您需要准备数据集。执行以下命令来准备数据集：

python preprocess.py prepare-dataset --vocab-size 4096

这里 --vocab-size 4096 参数指定了词汇表的大小。

第三步：开始训练

准备工作完成后，您可以开始训练模型。在项目根目录下，运行以下命令：

python train.py

训练过程和验证损失将被记录在 out/logs/ 目录中。您可以使用 TensorBoard 来可视化这些日志：

tensorboard --logdir=/out/logs

第四步：生成文本

训练完成后，您可以使用模型生成文本。执行以下命令：

python sample.py \
--prompt "Once upon a time" \
--num_samples 3 \
--temperature 0.7 \
--max_new_tokens 500

在这里，您可以自定义 --prompt 参数来设置文本生成的起始提示。

以上步骤将帮助您成功安装和配置 smolGPT 项目。请确保遵循每一步的指示，以便顺利运行项目。

smolGPT 项目地址: https://gitcode.com/gh_mirrors/smo/smolGPT