Coggle数据科学 | Kaggle干货：自定义transformers数据集_transformer 自定义数据集-优快云博客

本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/138021434

本文来源公众号“Coggle数据科学”，仅用于学术分享，侵权删，干货满满。

原文链接：Kaggle干货：自定义transformers数据集

transformers是现在NLP同学必备的库，但在使用的过程中主要的代码是需要自定义数据集，那么如何舒服的读取数据，并使用transformers进行训练模型呢？

本文的内容如下：

自定义文本数据集
使用transformers中trainer训练
使用Pytorch自定义训练流程

步骤1：读取IMDb Reviews

IMDb Reviews是比较常见的英文情感分类的数据集，主要完成文本多分类任务。我们首先需要读取数据，并处理数据。

下载数据

# 如下为shell命令
wget http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz
tar -xf aclImdb_v1.tar.gz

划分数据集

from sklearn.model_selection import train_test_split
train_texts, val_texts, train_labels, val_labels = train_test_split(train_texts, train_labels, test_size=.2)

对文本进行编码

这里建议提前将文本进行编码，不建议动态进行编码，可以节约时间。

from transformers import DistilBertTokenizerFast
tokenizer = DistilBertTokenizerFast.from_pretrained('distilbert-base-uncased')

train_encoding