人工智能_大模型042_模型微调002_模型微调代码开发_模型评估_模型checkpoint_超参数构建_训练器构建_数据规整器构建---人工智能工作笔记0177

添柴程序猿

已于 2024-04-26 15:06:24 修改

阅读量254

点赞数 3

CC 4.0 BY-SA版权

分类专栏：开源&回归和&数据库文章标签：人工智能大模型训练大模型微调模型微调开发微调超参数配置模型checkpoint

于 2024-04-26 15:05:16 首次发布

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/138214138

开源&回归和&数据库专栏收录该内容

125 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了使用HuggingFace库进行大模型微调的步骤，包括加载 rotten_tomatoes 数据集，加载gpt2小模型，使用Tokenizer进行文本向量化，构建数据规整器，定义训练超参数并创建训练器。文章详细解释了数据处理过程，特别是标签转换和数据对齐的细节，并提供了训练和评估模型的可视化方法，强调了checkpoint在模型保存和继续训练中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

然后我们需要使用具有GPU的服务器,来运行下面的代码:

<b>注意：</b> 
<ul>
<li>以下的代码，都不要在Jupyter笔记上直接运行，会死机！！</li>
<li>请下载左边的脚本`experiments/tiny/train.py`，在实验服务器上运行。</li>

1. 导入相关库

```python
import datasets
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModel
from transformers import AutoModelForCausalLM
from transformers import TrainingArguments, Seq2SeqTrainingArguments
from transformers import Trainer, Seq2SeqTrainer
import transformers
from transformers import DataCollatorWithPadding
from transformers import TextGenerationPipeline
import torch
import numpy as np
import os, re
from tqdm import tqdm
import torch.nn as nn
```

2. 加载**数据集**

通过 HuggingFace，可以指定数据集名