使用happytransformer对gpt-neo进行训练的过程记录

最新推荐文章于 2024-09-26 08:26:21 发布

Dickence

最新推荐文章于 2024-09-26 08:26:21 发布

阅读量542

点赞数

文章标签： gpt 训练模型

本文链接：https://blog.youkuaiyun.com/dickence/article/details/131824874

版权

该文介绍了如何在Python3.10.12的Docker环境中配置必要的工具包，如xformers和transformers，用于GPT-NEO模型的训练。使用HappyTransformer库，具体步骤包括设置训练参数并基于EleutherAI/gpt-neo-125m对train.txt文件进行训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、环境准备

本文使用的是Python3.10.12的Docker环境

在Python3.10环境中安装以下工具包：xformers、transformers v4.31.0、torch 2.0.1+cu118、happytransformer v2.4.1、accelerate v0.21.0

2、编写python文件

from happytransformer import HappyGeneration, GENSettings, GENTrainArgs
happy_gen = HappyGeneration("GPT-NEO", "EleutherAI/gpt-neo-125m")
args = GENTrainArgs(num_train_epochs=1)
happy_gen.train("/home/data/train.txt", args=args)

That's all.